PAct Eval100 PartNetMobility easy-case probe

Manual probe over low-part-count PartNetMobility samples with VLM QA and interactive 3D previews.

Dataset audit: True · samples: 8 · mean weighted score: 45.14 · mean joint F1: 0.12

manual benchmark_index selection: 50, 58, 62, 66, 67, 77, 82, 89

report.json · report.md

#50 PartNetMobility / Clock

evaluation card
29.7 score 1 part MAE 0.00 joint F1 0.55 scale

parts GT/PAct 2/1 · joints GT/PAct 1/0 · axis err 90.0 deg

Source textured
GT parts
PAct output
以下是对PAct在给定样本上表现的简短测评和问题发现：

1.  **几何完整性差，Part分解不准确：** 生成的三维模型几何结构不完整，存在明显的缺失部分（例如，时钟的背面和侧面缺失），且与原始输入形状差异较大。Part分解也存在问题，GT有2个part，但PAct的part_count_mae=1，说明它只识别出了1个part，未能正确分解。
2.  **关节识别完全失败，运动不可行：** joint_f1=0.000表明PAct未能识别出任何关节，导致无法推断出任何可行的运动。这与GT movable=1相悖，说明模型完全无法理解物体的铰链特性。
3.  **对2D分割的依赖性暴露：** 2D part mask显示只有一个大的蓝色区域，这可能直接导致PAct将整个物体视为一个单一的part，从而无法进行进一步的part分解和关节识别。这暴露了模型对2D分割输入的强依赖性，如果2D分割不准确或过于简化，3D生成结果也会受到严重影响。
4.  **PAct score较低，反映整体性能不佳：** PAct weighted_score=29.69，相对较低，进一步印证了模型在该样本上在几何、part分解和关节识别方面的综合性能不佳。

#58 PartNetMobility / small_appliances

evaluation card
41.3 score 0 part MAE 0.00 joint F1 0.61 scale

parts GT/PAct 2/2 · joints GT/PAct 1/1 · axis err 90.0 deg

Source textured
GT parts
PAct output
以下是对PAct在样本3483上的简短测评和问题发现：

1.  **几何完整性良好，但Part分解不准确：** PAct生成的几何形状与输入模型高度一致，但未能正确识别出GT中可移动的部件（GT movable=1），而是将整个物体视为一个整体（2D mask显示只有一个蓝色大块和一个小红色块）。
2.  **关节数量/类型识别失败：** PAct的joint_f1为0.000，表明它完全未能识别出任何关节，也因此无法推断出关节类型。这直接导致了运动可行性评估的失败。
3.  **对2D分割的依赖性暴露：** 2D part mask仅将顶部的小把手（红色）与主体（蓝色）分开，而GT parts=2且GT movable=1，暗示主体内部应有可移动部件（例如烤面包机的槽）。PAct的输出似乎过于依赖这个粗粒度的2D分割，未能进行更深层次的语义理解和部件分解。
4.  **运动可行性无法评估：** 由于未能识别出可移动部件和关节，PAct无法为该物体生成任何有意义的运动。

#62 PartNetMobility / small_appliances

evaluation card
82.0 score 0 part MAE 1.00 joint F1 0.53 scale

parts GT/PAct 2/2 · joints GT/PAct 1/1 · axis err 0.0 deg

Source textured
GT parts
PAct output
PAct 在此样本上表现良好，与GT数据高度一致。

1.  **几何完整性与Part分解：** PAct成功地将物体分解为两个部分（中心圆盘和四个叶片），与GT parts=2一致。几何形状也与输入图像高度匹配。
2.  **关节数量/类型与运动可行性：** PAct识别出1个可动关节，与GT movable=1一致。考虑到这是一个风扇叶片结构，很可能是一个旋转关节，运动可行性高。
3.  **对2D分割的依赖：** PAct的输出与2D part mask高度一致，表明它能有效利用2D分割信息进行3D重建和part分解。
4.  **潜在问题：** 图像中风扇叶片似乎是连接在一起的，但2D mask将它们视为一个整体（红色部分）。如果GT将每个叶片视为一个单独的part，那么PAct的part分解可能不够细致。然而，根据提供的GT parts=2，PAct的分解是正确的。

#66 PartNetMobility / household_fixtures

evaluation card
39.9 score 0 part MAE 0.00 joint F1 0.53 scale

parts GT/PAct 2/2 · joints GT/PAct 1/1 · axis err 90.0 deg

Source textured
GT parts
PAct output
以下是对PAct在该样本上的简短测评和问题发现：

1.  **几何完整性与Part分解：** PAct生成的几何体与输入图像基本一致，part分解数量（2个）也与GT相符。然而，从2D mask看，红色部分（盖子上的小矩形）被识别为一个独立的part，这与实际物体（通常盖子是一个整体）不符，可能导致不自然的part分解。
2.  **关节数量/类型与运动可行性：** PAct的joint_f1为0.000，表明未能识别出任何关节，也未能识别出可动部件（GT movable=1）。这直接导致运动可行性为零，无法模拟物体（如垃圾桶盖）的铰链运动。
3.  **对2D分割的依赖：** PAct似乎过度依赖2D part mask的局部特征。2D mask中将盖子上的小矩形独立分割出来，PAct也将其视为一个独立part，但实际物体中这通常是盖子的一部分，而非独立可动部件。这暴露了模型对2D分割的强依赖性，且未能结合物体常识进行更合理的3D结构和运动推断。
4.  **整体性能：** PAct的weighted_score仅为39.91，且未能识别任何关节，表明其在理解物体铰链结构和运动能力方面表现不佳。

#67 PartNetMobility / household_fixtures

evaluation card
41.1 score 0 part MAE 0.00 joint F1 0.60 scale

parts GT/PAct 2/2 · joints GT/PAct 1/1 · axis err 90.0 deg

Source textured
GT parts
PAct output
以下是对PAct在该样本上的简短测评和问题发现：

1.  **几何完整性良好，Part分解准确：** PAct成功地从单视图输入和2D mask中重建了插座的几何形状，并且part分解（底座和开关）与GT parts=2一致。
2.  **关节数量/类型识别失败：** PAct的joint_f1为0.000，表明它未能识别出开关的可动性或正确的关节类型（GT movable=1）。
3.  **运动可行性缺失：** 由于未能识别关节，模型无法为开关生成可行的运动。
4.  **对2D分割的依赖性未完全体现：** 尽管2D part mask提供了明确的part边界，但模型未能将此信息转化为可动的关节，这可能表明其在从静态分割推断动态关节方面的局限性。

#77 PartNetMobility / small_appliances

evaluation card
42.1 score 0 part MAE 0.00 joint F1 0.67 scale

parts GT/PAct 2/2 · joints GT/PAct 1/1 · axis err 90.0 deg

Source textured
GT parts
PAct output
以下是对PAct在给定样本上的简短测评和问题发现：

1.  **几何完整性与Part分解：** PAct生成的3D模型在几何上与输入图像高度一致，且Part分解与2D mask完全匹配，成功将风扇叶片和外壳分离。
2.  **关节数量/类型与运动可行性：** PAct未能识别出风扇叶片的可动性（joint_f1=0.000），表明其未能正确推断出旋转关节，导致运动可行性为零。
3.  **对2D分割的依赖：** PAct的Part分解完全依赖于2D part mask，这在几何上是准确的，但未能从2D信息中进一步推断出部件间的铰链关系和运动属性。
4.  **潜在问题：** 尽管part_count_mae=0，但未能识别出可动部件是主要缺陷，这限制了模型在生成可动3D物体方面的实用性。

#82 PartNetMobility / household_fixtures

evaluation card
41.7 score 0 part MAE 0.00 joint F1 0.64 scale

parts GT/PAct 2/2 · joints GT/PAct 1/1 · axis err 90.0 deg

Source textured
GT parts
PAct output
以下是对 PAct 在该样本上的简短测评和问题发现：

1.  **几何完整性与 Part 分解：** PAct 似乎成功地根据 2D part mask 将物体分解为两个部分，与 GT parts 数量一致 (part_count_mae=0)。几何形状也基本保持完整。
2.  **关节数量/类型与运动可行性：** PAct 未能识别出任何关节 (joint_f1=0.000)，这表明它未能预测出物体的可动性，尽管 GT 显示有一个可动部件。这严重影响了运动可行性。
3.  **对 2D 分割的依赖：** PAct 严格遵循了 2D part mask 进行分割，但未能从几何结构中推断出潜在的铰链关系。这可能暴露出它对 2D 分割的过度依赖，而缺乏对 3D 结构和功能关系的理解。
4.  **PAct score 较低：** 41.65 的 weighted_score 相对较低，主要原因可能是未能识别出关节，导致 joint_f1 为 0。

#89 PartNetMobility / major_appliances

evaluation card
43.3 score 0 part MAE 0.00 joint F1 0.74 scale

parts GT/PAct 2/2 · joints GT/PAct 1/1 · axis err 90.0 deg

Source textured
GT parts
PAct output
以下是对PAct在该样本上表现的简短测评和问题发现：

1.  **几何完整性与Part分解：** PAct成功地将物体分解为两个部分（与GT parts=2一致），并且几何形状大致完整，但手柄部分在PAct input中显得模糊且与主体融合，未被识别为独立部件。
2.  **关节数量/类型与运动可行性：** PAct的joint_f1为0.000，表明未能识别出任何关节，因此无法推断运动可行性。GT movable=1，说明存在一个可动部件，但PAct未能捕捉到。
3.  **对2D分割的依赖：** 2D part mask清晰地将顶部（红色）和底部（蓝色）分开，PAct的part分解与此2D分割高度一致。然而，2D mask未能区分手柄，这可能导致PAct也未能将其识别为独立部件或可动部件。
4.  **潜在问题：** PAct似乎过度依赖2D part mask进行部件分解，而未能从3D几何信息中推断出更精细的部件（如手柄）或关节信息，导致运动可行性评估失败。