PAct Appendix-D VLM+SAM2 Multi-Example Probe

把论文附录 D 的 `GPT/VLM + SAM2 + VLM merge` 预处理链扩展到更多类别。当前页集中展示 4 个真实样例：`Dishwasher` 与 `StorageFurniture` 是成功例，`Refrigerator` 与 `Table_door` 则保留为 hard case，方便直接对比“哪类对象已经补齐，哪类对象还在失败模式里”。

PActAppendix-DVLMSAM2multi-examplemask-labeling

2026-04-19 21:05:00 UTCTimestamp

4Assets

activeStatus

PAct Appendix-D VLM+SAM2 Multi-Example Probe cover image

Assets

Interactive Asset

Dishwasher_001 success case

成功例。Stage 0 选择 `medium` granularity；SAM2 候选共 4 个；VLM 最终将 `segment 0` 识别为 `door(articulated)`，把 `segments 1/2/3` 合并为 `main_body(fixed)`。这是目前最干净的附录 D 复现样例。

下载 final mask.exr 下载 stage0_granularity.json 下载 stage1_manual_v2.json 下载 stage2_manual_v2.json 下载 summary.json 下载 reference assembled GLB

4SAM2 segments

2final parts

successstatus

Dishwasher_001 success case Input processed image — Input processed image

Dishwasher_001 success case SAM2 labeled overlay — SAM2 labeled overlay

Dishwasher_001 success case Final PAct mask segments — Final PAct mask segments

Reference Dishwasher object

右侧 3D 是同一样例的参考整物体，用来对应这份 Appendix-D mask 最终服务的对象；真正新生成的是左侧的 stage 输出与 final mask。

Interactive Asset

StorageFurniture_004 success case

成功例。Appendix-D 最终保留出 `upper left door / upper right door / drawer top / drawer middle / drawer bottom` 共 5 个 articulated parts，是当前最复杂且仍能稳定跑通的例子。

下载 final mask.exr 下载 stage0_granularity.json 下载 stage1_manual_v3.json 下载 stage2_manual_v4.json 下载 summary.json 下载 reference assembled GLB

8SAM2 segments

5final parts

successstatus

StorageFurniture_004 success case Input processed image — Input processed image

StorageFurniture_004 success case SAM2 labeled overlay — SAM2 labeled overlay

StorageFurniture_004 success case Final PAct mask segments — Final PAct mask segments

Reference StorageFurniture object

这是同一样例的参考整物体 viewer。左侧展示真实的 SAM2 候选、VLM merge 和 final mask。

Interactive Asset

Refrigerator_001 hard case

失败模式保留。Stage 0 的 object prior 是合理的，但当前 VLM classification / merge 没有成功收敛成 `top door + bottom door + cabinet`，最后仍退化成 `leftover_segment_*`。这页故意把 hard case 也挂出来，便于后续继续修。

下载 final mask.exr 下载 stage0_granularity.json 下载 stage1_classification.json 下载 stage2_merge.json 下载 summary.json

3SAM2 segments

leftover onlyfinal parts

hard casestatus