大语言模型中3D世界的局部空间理解: SPARTUN3D
计算机视觉与模式识别
2025-03-04 v2
摘要
将3D世界集成到大语言模型(3D-based LLM)是3D场景理解的一个值得期待的研究方向。然而，现有的3D-based LLM在局部理解方面存在不足，主要源于两个关键局限性:1)现有的3D数据集是从3D场景的全局视角构建的，缺乏局部语境;2)现有的3D-based LLM的架构缺乏3D场景空间表征与自然语言之间的显式对齐，限制了其在需要精确空间推理的任务中的性能。我们通过引入一个可扩展的局部3D数据集Spartun3D，纳入各种局部空间推理任务来解决上述问题。此外，我们提出Spartun3D-LLM，基于现有的3D-based LLM，但集成了一种新颖的局部空间对齐模块，以增强3D视觉表征与其相应文本描述之间的对齐。实验结果表明，我们提出的数据集和对齐模块显著提升了3D-based LLM的局部空间理解能力。
引用
@article{arxiv.2410.03878,
title = {SPARTUN3D: Situated Spatial Understanding of 3D World in Large Language Models},
author = {Yue Zhang and Zhiyang Xu and Ying Shen and Parisa Kordjamshidi and Lifu Huang},
journal= {arXiv preprint arXiv:2410.03878},
year = {2025}
}