PAct 官方 Appendix-D 风格预处理试验
结论:这是一个负结果诊断。按 VLM -> SAM2 -> VLM classification -> VLM merge 路线跑在 GAPartNet CAD render 上,SAM2 主要切到了渲染面片而不是运动刚体,VLM Stage1 基本没有给出有效语义 part。PAct 后端有时还能补出 mesh,但 2D 条件已经错了。
5/6official-style preprocess completed
1/6blocked by VLM 429
0/5valid semantic Stage1 classifications
3/5coarse mesh QA pass, not semantic success
总览对比
列顺序:输入 RGB、SAM2 overlay、最终 Appendix-D mask、该 mask 驱动的 PAct 输出、此前 GT-derived clean baseline。左三列已经说明问题:mask 是斜三角和材质/面片切分,不是门、抽屉、柜体这样的运动部件。
动画关键帧
Dishwasher

Microwave

Oven

Refrigerator

Table

诊断结论
- VLM Stage0 在多个 CAD render 上分类错误:dishwasher -> Air Conditioner,oven -> refrigerator,refrigerator -> suitcase。
- SAM2 输出跟随三角面片、材质块和细条结构,和 PAct 需要的运动刚体 mask 不一致。
- Stage1 对完成样本没有产生有效语义 part,Stage2 大量回退为
leftover_segment_*: fixed。 - 这说明 GAPartNet 训练/评测更需要 dataset-native part-body mask,而不是直接把 real-image Appendix-D 路线套到合成 CAD render 上。