EgoKit：面向异构设备的统一低成本自我中心数据收集
计算机视觉与模式识别
2026-05-19 v1 机器人学
摘要
自我中心视频日益被用作机器人学习、活动理解和具身AI研究的数据源，但大规模收集仍在实践中碎片化：每种候选主机设备，如Android手机、iPhone、iPad、智能眼镜或扩展现实（XR） headset，都暴露不同的SDK、不同的原始相机访问策略，以及对外部USB摄像头和设备上跟踪的不同限制。因此，通常通过严格依赖单一专有平台或构建不具可迁移性的单次装置来获得同步的自我视角和手腕视角捕获。为填补这一差距，我们提出EgoKit，一个在六种异构主机设备上暴露相同自我中心录制工作流程的工具包。在所有支持的设备上，EgoKit都呈现相同的录制交互并产生本地存储的视频，具有统一的日志格式；在XR headset上，它额外记录头部姿态和符合OpenXR标准的26关节手部跟踪，对齐视频流。随附配件，包括两个手腕摄像头、挂件、头戴式安全带和USB-C集线器，无需定制硬件制造即可将手腕视角捕获添加到任何支持的主机设备上。EgoKit可在\url{https://egokit.chuange.org/}上获取。
引用
@article{arxiv.2605.16797,
title = {EgoKit: Towards Unified Low-Cost Egocentric Data Collection with Heterogeneous Devices},
author = {Liuchuan Yu and Erdem Murat and Beichen Wang and Yan Zeng and Tingting Luo and Huizhen Zhou and Shanghao Li and Huining Feng and Zhigen Zhao and Ning Yang and Ke Jing and Yunhao Liu and Ruoya Sheng},
journal= {arXiv preprint arXiv:2605.16797},
year = {2026}
}