3DSRBench：综合性 3D 空间推理基准
统计方法学
2024-12-12 v1
摘要
3D 空间推理是指分析和解释对象在三维空间中的位置、姿态及空间关系的能力。这使模型能够全面理解 3D 场景，从而适用于更广泛的领域，如自动导航、机器人和 AR/VR。虽然大型多模态模型（LMM）在广泛的图像和视频理解任务中取得了显著进展，但其在多样化自然图像上的 3D 空间推理能力研究相对不足。本 work 提出首个综合性 3D 空间推理基准 3DSRBench，包含 2,772 对手动标注的视觉问答对，覆盖 12 种问题类型。我们通过平衡数据分布并采用新颖的 FlipEval 策略，对 3D 空间推理能力进行稳健且彻底的评估。为进一步研究 3D 空间推理对相机 3D 视点的鲁棒性，3DSRBench 包含两个子集，分别针对常见和不常见视点的配对图像中的 3D 空间推理问题。我们对广泛的开源和专有 LMM 进行基准测试，揭示了其在各种 3D 感知方面存在局限，包括高度、姿态、位置和多对象推理，以及在来自不常见 6D 视点的图像上表现下降。我们的 3DSRBench 提供了有价值的发现和见解，指导未来开发具备强大空间推理能力的 LMM。我们的项目页面地址为 https://3dsrbench.github.io/。
引用
@article{arxiv.2412.07824,
title = {Improved Small Area Inference from Data Integration Using Global-Local Priors},
author = {D Cahoy and J Sedransk},
journal= {arXiv preprint arXiv:2412.07824},
year = {2024}
}