EgoExoMem：基于同步第一人称与第三人称视频的跨视角记忆推理
计算机视觉与模式识别
2026-05-19 v1
摘要
第一人称记忆被广泛应用于具身智能中，但可能不足以进行全面的时空推理。受人类从第一视角和观察者视角进行回忆的启发，我们引入了 EgoExoMem，这是首个基于同步第一人称与第三人称视频的跨视角记忆推理基准。EgoExoMem 包含 道高质量多选题（MCQ），涵盖八种时间、空间和跨视角问答类型。为支持双视角检索，我们提出了 E-Select，一种用于同步第一人称与第三人称视频的免训练帧选择方法。它结合了基于相关性的预算分配与各视角 k-DPP 采样，以处理视角不对称性和跨视角时间一致性。实验表明，第一人称和第三人称视角提供了互补的记忆线索，而现有的 MLLM 距离解决该基准仍有较大差距：最佳模型仅达到 。E-Select 在帧选择和基于 RAG 的记忆基线上取得了 的最先进性能。进一步分析揭示了问题框架与答案依据之间存在系统性的视角偏好冲突，凸显了跨视角记忆推理的新颖性与挑战性。
引用
@article{arxiv.2605.18734,
title = {EgoExoMem: Cross-View Memory Reasoning over Synchronized Egocentric and Exocentric Videos},
author = {Ruiping Liu and Junwei Zheng and Yufan Chen and Di Wen and Shaofang Quan and Chengzhi Wu and Jiaming Zhang and Kailun Yang and Kunyu Peng and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2605.18734},
year = {2026}
}
备注
The source code and dataset can be found at https://github.com/RuipingL/EgoExoMem