PAct 官方推理 · 跨域到 ArtiCraft(单图 → 铰接 3D)

2026-06-05 · 8 个 ArtiCraft 测试资产 · 官方发布权重 pact_weights · seed42/cfg7.0

做了什么:把训练好的官方 PAct(发布权重 pact_weights仅 PartNet-Mobility 7 类家具上训练)拿去推理 另一个数据集 ArtiCraft 的物体——一次跨域(out-of-domain)测试。 输入用 ArtiCraft testset 已有的官方 singpo 渲染imgs/00.png RGBA + semantic_masks_merge_fixed/00.npz 部件 mask),转成推理契约 *_processed.png + *_mask.exr,经官方 PartArtiGenImageTo3DPipeline 跑 Stage-1 SS 流→Stage-2 SLAT 铰接流→铰接回归头→导出可动部件。

输入(8 个 ArtiCraft 资产,部件 mask 来自官方 singpo)

weight bench (3区)
air purifier (3区)
telescope (3区)
cannon (4区)
cctv mast (4区)
oven (5区)
drawer cabinet (5区)
juicer (6区)

条件 + 生成结果网格(官方导出)

每行:条件图 → 生成的铰接 3D(多视角)

铰接动画(8 资产网格)

模型预测的关节驱动各部件运动

部件爆炸视图(8 资产网格)

语义部件分解

说明(诚实)

✓ 官方链路:官方 pipeline + 官方发布权重,输入部件 mask 来自官方 singpo 渲染(非自造)。8/8 资产全部成功导出可动对象(object.json + 部件高斯 PLY)。

⚠ 这是跨域:发布权重只在 PartNet-Mobility 7 类家具上训练,ArtiCraft 含大量域外类别(加农炮/望远镜/云台等)。结果反映的是官方模型的跨域泛化,几何/关节质量在域外类别上预期下降——这正是该测试的观察点,非复现缺陷。

落盘:PAct_repro_20260603/inference/out_articraft/seed42_…/exported_arti_objects/

同组另两页:官方推理(StorageFurniture 域内) · Stage4 预处理监控。