EgoProx：基于认知层次评估多模态大语言模型的以自我为中心的三维接近性推理
计算机视觉与模式识别
2026-05-27 v2
摘要
人类在日常生活不断进行三维接近性推理，即推理自身身体与周围物体之间的关系，以指导感知和行动。多模态大语言模型（MLLM）是否能够执行这种具身三维推理尚不清楚。为此，我们引入了EgoProx，一个用于以自我为中心的三维接近性推理的基准。我们沿着认知链组织任务，涵盖意图、探索、利用和行动链推理。我们还设计了一个基于智能体的数据引擎，能够大规模生成多样且一致的问答对。我们在EgoProx上对主流的MLLM进行了基准测试，并通过数据集特定和任务特定的指令微调进行了额外分析。我们观察到巨大的跨领域增益，表明当前的MLLM包含一定的空间知识；然而，它们仍然难以有效地利用这些知识进行空间推理视觉问答。
引用
@article{arxiv.2605.24456,
title = {EgoProx: Evaluating MLLMs on Egocentric 3D Proximity Reasoning Across a Cognitive Hierarchy},
author = {Jinzhao Li and Yinuo Chen and Dongxu Piao and Panwang Pan and Yifan Yu and Dong Wang and Honglei Yan and Liang Yue and Shaofei Wang and Yixin Chen and Siyuan Huang and Miao Liu},
journal= {arXiv preprint arXiv:2605.24456},
year = {2026}
}
备注
Accepted to CVPR 2026