LLM引导的3D点云材质推断
计算机视觉与模式识别
2025-12-04 v1 图形学
摘要
现有大多数3D形状数据集和模型仅关注几何形状，忽略了决定物体外观的材质属性。我们提出了一种基于两阶段大语言模型（LLM）的方法，可直接从具有粗粒度分割的3D点云推断材质组成。我们的关键洞察在于将关于物体是什么的推理与物体由什么制成的推理解耦。在第一阶段，LLM预测物体的语义；在第二阶段，它根据推断出的语义为每个几何片段分配合理的材质。两个阶段均以零样本方式运行，无需任务特定训练。由于现有数据集缺乏可靠的材质标注，我们使用DeepEval中实现的LLM-as-a-Judge来评估我们的方法。在来自Fusion/ABS和ShapeNet的1,000个形状上，我们的方法实现了高语义合理性和材质合理性。这些结果表明，语言模型可以作为通用先验，用于弥合3D数据中的几何推理与材质理解之间的鸿沟。
引用
@article{arxiv.2512.03237,
title = {LLM-Guided Material Inference for 3D Point Clouds},
author = {Nafiseh Izadyar and Teseo Schneider},
journal= {arXiv preprint arXiv:2512.03237},
year = {2025}
}