用 GT 分 part 几何微调 LLM 推关节运动 + 物理信息

Qwen3.5-9B · LoRA · 8×H100 · PartNet-Mobility(46类) + GAPartNet · 2026-06-13 → 06-15
一句话:用 GT 分 part 的纯几何(每部件包围盒/朝向)微调 LLM,能可靠推出运动学(关节类型、轴方向、轴心)与可交互语义(GAPart affordance),并跨类别泛化;而非几何信息(limit 具体值、按钮区分)是几何的天花板。这是 EPPUR 论点 A7(轴=几何瓶颈)在 LLM 上的正面验证。
90°→0°关节轴方向误差中位(随机→精确)
0.85≈0.85去名纯几何 ≈ 含名(名泄漏被克服)
0.90GAPart affordance 宏 F1(纯几何)
0.57→0.80LOCO 未见类 类型 acc(跨类泛化)
🧊 新增: Part SLAT Latent 可视化 → 看每个 part 的真实几何 latent(体素+8维latent染色)长什么样——这是"用真几何喂 LLM"取代 bbox 文本的依据。

① 关节运动学:轴方向/轴心被几何解决

输入逐部件归一化包围盒,输出每个可动关节的 类型轴方向轴心(垂足规范化)range。微调把轴方向从随机(中位 90°)拉到中位 0°,轴心垂距收紧约 8×;扩到全 46 类后轴更准(垂距 0.015)。

axis error

② 名泄漏被微调克服 = 学到真几何

零样本时 part 名帮巨大(含名 0.76 vs 去名 0.42,模型靠 "door→revolute" 作弊);但微调后去名(0.85) ≈ 含名(0.86) —— 模型学到的是真"几何→运动学"映射,不是名字捷径。该结论在 4 组实验一致复现。

name leak

③ 物理/可交互信息:GAPart affordance

用 GAPartNet 标注,给部件 OBB 推 9 类 actionable 类别(把手/抽屉/门/旋钮/盖/按钮)。零样本≈0(fine-grained 新本体)→ 微调宏 F1 0.90;门/抽屉/把手/盖类 F1 0.85–1.0,仅 slider_button 0.59(按钮间几何近同、需纹理)。

gapart f1

④ 跨类别泛化(LOCO-46):迁移到从未见过的类别

留出 Box / Bucket / Camera / Dishwasher 4 类完全不训,评未见类。类型 0.57→0.80、轴角中位 90°→0°、垂距 0.32→0.10。类别越多迁移越强(8 类时 Refrigerator 几乎不动,46 类时未见类轴角已中位 0°)→ 几何→运动学是可迁移通则,非按类记惯例。

loco46

⑤ 统一输出:运动 + 物理一次给全

让每个部件单次同时输出运动学+affordance。旧版因输出过长被截断(parse 失败 30/208)拖低指标;精简 schema 后 parse 失败 30→9(−70%),各指标回升。运动信息(type/axis/range)完整体现;分任务上限仍更高。

unified

⑥ 几何的天花板(诚实负结果)

非几何信息现象结论
关节 limit / range类别先验误差中位 42° > 全局常数 22.5°;LLM range 中位 0.06° 但均值 57.9°limit 是记忆型,非几何推理型
revolute ↔ continuous46 类 type acc 0.85→0.32"有无 limit" 是物理属性,静态几何判不出
slider_button 区分F1 仅 0.59按钮间几何近同,需纹理

→ 轴(方向+轴心)是几何可解瓶颈,已被 LLM 解决;limit 与部分类型属另一性质(物理/记忆)。精确印证并量化了 EPPUR 的 A7。

实验矩阵

实验数据规模核心结果
A 关节PNM 8类453/113轴向→0°,垂距~8×,类型 0.85
B 关节PNM 全46类1708/422轴跨46类泛化(垂距 0.015)
C affordanceGAPartNet835/208宏 F1 0.90
D 统一运动+物理835/208精简后 parse 失败 30→9
LOCO-46留4类1988/142未见类 类型 0.57→0.80

设置:Qwen3.5-9B(modelscope)· LoRA r32 · transformers 5.12 隔离 venv · 8 卡 DDP · 轴心垂足规范化 · L0/L1 名泄漏消融。全部可复现:EPPUR/experiments/20260614_llm_joint/(6 套数据 prep + 3 评测器 + 12 adapter + 25 eval JSON + STAGE_REPORT)。

EPPUR · LLM-joint 阶段报告 · 自 eval JSON 真数据生成 · 2026-06-15