EgoTraj：面向多模态预测的真实世界自我中心人体轨迹数据集
计算机视觉与模式识别
2026-05-20 v1 机器学习
机器人学
摘要
准确地从自我中心视角预测人体轨迹在人形机器人、可穿戴感知系统和辅助导航等应用中发挥核心作用。然而，由于自我中心轨迹数据集在真实世界环境中稀缺，此方向的进展受限。为满足这一需求，我们引入 EgoTraj，一个使用 Meta Quest Pro (MQPro) 记录的自我中心多模态开放数据集。EgoTraj 包含来自多个 MQPro 佩戴者在真实世界城市环境中收集的 75 个人体导航序列。每段记录提供同步的 RGB 视频及 ground-truth 数据，包括连续时间同步的 6 自由度头部姿态、逐帧 3D 眼睛注视向量、场景标注。据我们所知，EgoTraj 与典型的自我中心轨迹数据集不同之处在于捕获了跨越多样化城市路线的长时段、自主导航，涵盖广泛的参与者多样性。为展示数据集的潜力，我们对几种最先进的方法进行了自我中心轨迹预测基准测试，并进行消融研究以分析注视、场景和运动线索的贡献。结果凸显了 EgoTraj 在基于 AR 的感知、导航和辅助系统中的实用性。EgoTraj 数据集、代码和 EgoViz Dashboard 均公开于 https://github.com/yehiahmad/EgoTraj。
引用
@article{arxiv.2605.19004,
title = {EgoTraj: Real-World Egocentric Human Trajectory Dataset for Multimodal Prediction},
author = {Ahmad Yehia and Abduallah Mohamed and Tianyi Wang and Jiseop Byeon and Kun Qian and Junfeng Jiao and Christian Claudel},
journal= {arXiv preprint arXiv:2605.19004},
year = {2026}
}
备注
21 pages, 14 figures. Project page: https://github.com/yehiahmad/EgoTraj