PAct RGB 预处理修复 + 官方等价 Stage2 微调

结论:修复 GAPartNet 条件图后,官方 PAct 不再生成碎片残块;进一步清洗 2D mask 后,关节开合明显恢复。80 step Stage2 微调能稳定推理,但视觉上基本贴近清洗后的官方 baseline。当前最有效修复是输入协议,尤其是极小 mask label 过滤与连续 label 重排。

94supported GAPartNet instances rendered
6/6mask-clean baseline mesh QA pass
6/6mask-clean Stage2 mesh QA pass

RGB 条件图修复

旧预处理把 _processed.png 做成语义色块,和 PAct 官方单图条件分布不匹配。新流程从 GAPartNet 资源中抽取 OBJ/MTL/texture,并把语义 mask 单独写到 semantic_masks_merge_fixed

fixed RGB conditioning preview for six samples

Supported-94 输入规模

已扩到 94 个 supported 类实例,75 个实例含 texture,共抽取 255 张贴图。仍有不少资产只有灰色 CAD 材质,所以输入还不是官方 demo 那种自然图分布。

fixed RGB conditioning preview for supported 94 samples

Baseline vs Stage2 微调

两行分别是官方无微调和 Stage2 低学习率微调结果。可以看到完整性明显好于坏预处理时代的碎片输出,但微调本身没有带来强视觉突破。

baseline versus finetuned comparison

Mask 清洗带来的开合恢复

这张图对比三档:只修 RGB、再清洗并连续化 mask、最后叠加 Stage2 微调。关节开合恢复主要发生在第二步,说明 PAct 对 2D 分割协议非常敏感。

RGB fix versus mask cleanup versus Stage2 finetune

文件

official baseline QA JSON

Stage2 finetune QA JSON

mask-clean baseline QA JSON

mask-clean Stage2 QA JSON

Stage2 train log