这是什么: INSTRUCT-PARTICULATE 第一核心点 = 输入图先用现成 3D 生成器变 mesh 再处理。这里用官方 TRELLIS2(Trellis2ImageTo3DPipeline, DiT slat_flow + DINOv3)把真实家电照片端到端生成 3D mesh。下面每个 mesh 可用鼠标拖动旋转 / 滚轮缩放(为网页预览已从百万级面抽稀到 ~6 万面并转 GLB; 原始高模 OBJ 见仓库)。
9 件单图→mesh · 可交互
Dishwasher_1
Dishwasher_2
Microwave_1
Refrigerator_1
StorageFurniture_1
StorageFurniture_2
WashingMachine_1
Table_1
Table_2 ★渲出真桌结构
左=真实照片输入, 右=可交互 GLB(拖动旋转 / 滚轮缩放 / 自动旋转)。静态着色版见下方画廊。
诚实评估(不美化)
| 观察 | 说明 |
|---|---|
| 形状对、可用 | 原始顶点 55万–300万, 物体类别正确, 可作下游条件化 B + 关节标注输入 |
| 多数偏块状 | 洗碗机/冰箱/储物柜/洗衣机多生成为箱体, 细节弱(与论文 Fig.1 精致度有差距) |
| Table_2 例外 | 渲出真正的桌面+桌腿结构(非箱体)→ 管线在结构清晰件上能出真几何 |
静态着色画廊 + 点云核验
pyrender EGL 双面着色(亲眼核验)。
点云俯视图判据: WashingMachine 俯视=圆形(滚筒口), Table 俯视=空心框(薄桌面), Dishwasher/Refrigerator=实心方(箱体平顶)→ 均为正确物体表面, 侧视像块是箱形物体稠密表面投影。
技术注记
生成环境(坑已解决): 真可用环境 = 顶层
Web 预览: 原始 OBJ 45–260MB 不可直传浏览器 → open3d 二次抽稀到 ~6 万面 + trimesh 导 GLB(1–4MB)+ 本地
/data/250010098/llmenv(transformers 5.12 + DINOv3, --system-site-packages 继承 trellis2 的 torch/flash-attn); trellis2 env(tf 4.43)缺 DINOv3ViTModel。权重 /data/250010098/trellis_util/trellis2(g区官方)。Web 预览: 原始 OBJ 45–260MB 不可直传浏览器 → open3d 二次抽稀到 ~6 万面 + trimesh 导 GLB(1–4MB)+ 本地
<model-viewer> 离线渲染。脚本 particulate/ip_repro/p2_stageA_more.py; 高模 OBJ _p2/meshes_more/*.obj(9 件)。
EPPUR · TRELLIS2 image→3D 可交互画廊 · 2026-06-18 · 真实生成 + 真实渲染核验 + GLB 可交互预览