SceneTransporter · experiment detail
2026-04-19 23:59:50 UTC

SceneTransporter-style Pure Part Generation Probe

暂时不借 PAct,直接按 SceneTransporter 的核心思路做一个单图部件生成原型:先用 `SAM / KMeans / OT+edge` 做 part assignment,再把分配结果 lift 成独立 3D part meshes。4 个 PartNeXt 样例的 visible-surface benchmark 上,`SAM` 反而最好:`mean face IoU = 0.389`,高于 `KMeans = 0.337` 和 `OT+edge = 0.332`。这说明一旦目标变成“直接产出 3D parts”,边界质量比 patch-level assignment 的全局约束更关键。

SceneTransporterpart-generationPartNeXtsingle-view3D-parts
2026-04-19 23:59:50 UTCTimestamp
4Assets
activeStatus
SceneTransporter-style Pure Part Generation Probe cover image
Assets
Interactive Asset

Knife_00602ef508784e5384665aacaaf1f3a0

GT coarse parts 是 `Blade / Handle`。这次不借 PAct,直接把 `SAM / KMeans / OT+edge` 的 2D 分配 lift 成独立 3D part meshes。在这个 visible-surface benchmark 上,`SAM=0.274`,`KMeans=0.319`,`OT+edge=0.319`。

2GT part count
1 / 0.274SAM parts / face IoU
2 / 0.319KMeans parts / face IoU
2 / 0.319OT parts / face IoU
Knife_00602ef508784e5384665aacaaf1f3a0 Rendered input image
Rendered input image
Knife_00602ef508784e5384665aacaaf1f3a0 GT coarse part overlay
GT coarse part overlay
Knife_00602ef508784e5384665aacaaf1f3a0 SAM boundaries
SAM boundaries
Knife_00602ef508784e5384665aacaaf1f3a0 KMeans boundaries
KMeans boundaries
Knife_00602ef508784e5384665aacaaf1f3a0 OT+edge boundaries
OT+edge boundaries
Knife_00602ef508784e5384665aacaaf1f3a0 · SAM assembled object
默认 viewer 是当前三种前端里 face-IoU 最好的 SAM 结果;下载区同时保留 KMeans 与 OT+edge 的整物体和 object.json。
Interactive Asset

Toilet_01b31c7fb7bd41ac8019ffc994b22b60

GT coarse parts 是 `Tank / Toilet Lid / Toilet Base`。这次不借 PAct,直接把 `SAM / KMeans / OT+edge` 的 2D 分配 lift 成独立 3D part meshes。在这个 visible-surface benchmark 上,`SAM=0.651`,`KMeans=0.366`,`OT+edge=0.324`。

3GT part count
3 / 0.651SAM parts / face IoU
3 / 0.366KMeans parts / face IoU
3 / 0.324OT parts / face IoU
Toilet_01b31c7fb7bd41ac8019ffc994b22b60 Rendered input image
Rendered input image
Toilet_01b31c7fb7bd41ac8019ffc994b22b60 GT coarse part overlay
GT coarse part overlay
Toilet_01b31c7fb7bd41ac8019ffc994b22b60 SAM boundaries
SAM boundaries
Toilet_01b31c7fb7bd41ac8019ffc994b22b60 KMeans boundaries
KMeans boundaries
Toilet_01b31c7fb7bd41ac8019ffc994b22b60 OT+edge boundaries
OT+edge boundaries
Toilet_01b31c7fb7bd41ac8019ffc994b22b60 · SAM assembled object
默认 viewer 是当前三种前端里 face-IoU 最好的 SAM 结果;下载区同时保留 KMeans 与 OT+edge 的整物体和 object.json。
Interactive Asset

Monitor_01ce620e70ff40708eb4a1b04f4a828e

GT coarse parts 是 `Display / Stand`。这次不借 PAct,直接把 `SAM / KMeans / OT+edge` 的 2D 分配 lift 成独立 3D part meshes。在这个 visible-surface benchmark 上,`SAM=0.336`,`KMeans=0.400`,`OT+edge=0.419`。

2GT part count
2 / 0.336SAM parts / face IoU
2 / 0.400KMeans parts / face IoU
2 / 0.419OT parts / face IoU
Monitor_01ce620e70ff40708eb4a1b04f4a828e Rendered input image
Rendered input image
Monitor_01ce620e70ff40708eb4a1b04f4a828e GT coarse part overlay
GT coarse part overlay
Monitor_01ce620e70ff40708eb4a1b04f4a828e SAM boundaries
SAM boundaries
Monitor_01ce620e70ff40708eb4a1b04f4a828e KMeans boundaries
KMeans boundaries
Monitor_01ce620e70ff40708eb4a1b04f4a828e OT+edge boundaries
OT+edge boundaries
Monitor_01ce620e70ff40708eb4a1b04f4a828e · SAM assembled object
默认 viewer 是当前三种前端里 face-IoU 最好的 SAM 结果;下载区同时保留 KMeans 与 OT+edge 的整物体和 object.json。
Interactive Asset

Guitar_553a53ba86804d4da6e51946a6011b0e

GT coarse parts 是 `String Components / Guitar Main Components`。这次不借 PAct,直接把 `SAM / KMeans / OT+edge` 的 2D 分配 lift 成独立 3D part meshes。在这个 visible-surface benchmark 上,`SAM=0.294`,`KMeans=0.264`,`OT+edge=0.264`。

2GT part count
1 / 0.294SAM parts / face IoU
1 / 0.264KMeans parts / face IoU
1 / 0.264OT parts / face IoU
Guitar_553a53ba86804d4da6e51946a6011b0e Rendered input image
Rendered input image
Guitar_553a53ba86804d4da6e51946a6011b0e GT coarse part overlay
GT coarse part overlay
Guitar_553a53ba86804d4da6e51946a6011b0e SAM boundaries
SAM boundaries
Guitar_553a53ba86804d4da6e51946a6011b0e KMeans boundaries
KMeans boundaries
Guitar_553a53ba86804d4da6e51946a6011b0e OT+edge boundaries
OT+edge boundaries
Guitar_553a53ba86804d4da6e51946a6011b0e · SAM assembled object
默认 viewer 是当前三种前端里 face-IoU 最好的 SAM 结果;下载区同时保留 KMeans 与 OT+edge 的整物体和 object.json。