← 返回 Portal

PhysX-Omni 复现 · 单图→可动3D · 铰链渲染验证

忠实复现 PhysX-Omni 官方三步推理(VLM 结构预测 → TRELLIS 几何解码 → URDF/MJCF 装配), 在官方 5 张 demo 图上端到端跑通,产出带纹理的可动关节 3D 物体。 本页用独立 FK + Blender(EEVEE) 管线对每件渲染「闭合 / 展开」两态肉眼核验关节是否真动, 并用官方 PhysX-Bench 的 MuJoCo kinematic 渲染器生成标准化关节运动视频。 复现中最大坑:官方 VLM 权重经 HF Xet 下载静默损坏导致退化(认出物体后不吐 EOS 无限重复), curl 直连 CDN 重下 + sha256 核验后修复。

① 5 件闭/开对照总览(contact sheet)

② 诚实评估(按产出质量分级)

资产物体关节验证结果
65e2f7b0柜/箱revolute⭐ 完美:柜门铰链外开,露出内部空腔
86e0dfc6魔方continuous×2⭐ 完美:顶层明显扭转,语义正确
84cd8adb工程机械臂revolute×3✅ 臂段转动可见,几何偏抽象
068f17e7拖拉机revolute×5⚠️ 关节有效但多为轮子绕轴转,剪影几乎不变
48c679b4跑车prismatic×2+rev×4⚠️ 面板有位移,但跑车标 prismatic 抽屉语义错
结论:官方三步推理 + FK + 渲染端到端跑通,5/5 几何质量好、关节定义有效、FK 正确生效,其中 2/5(柜门、魔方)达教科书级清晰铰链
对 PAct 的参考:PhysX-Omni 的 VLM 倾向无差别给物体安关节(魔方/柜子合理,跑车/拖拉机被安上语义可疑关节)——印证我们诊断的同款问题:关节监督若仅 MSE、缺可动性/语义先验约束

③ 逐件闭/开(左=闭合 q=0,右=展开)

柜/箱 — 柜门外开 ⭐
魔方 — 顶层扭转 ⭐
工程机械臂 — 臂段转动
拖拉机 — 轮子绕轴(剪影难辨)
跑车 — 面板位移(prismatic 语义可疑)

④ PhysX-Bench 标准化关节视频(MuJoCo,官方渲染器)

用官方 kinematic_articulation_demo.py(已修嵌套 mesh 路径解析)生成;双视角 135°/45°。注:完整 KPS 数值评分需 Qwen3.5-122B VLM 评判 + 官方 bench 数据集,未在此跑(仅产出证据视频)。

柜/箱 ⭐
魔方 ⭐
工程机械臂
拖拉机
跑车

产物:/data/250010098/PhysX-Omni/ours_demo/<id>/(basic.urdf/xml + verify_*.png + verify_*.glb);视频 benchmark/benchmark_assets/kinematic_videos/ours/demo/。续接 RESUME_PHYSX_OMNI_20260607.md