EgoLife：面向无人陪伴的生活助理

我们介绍 EgoLife，一个旨在通过 AI 驱动的可穿戴眼镜陪伴并提升个人效率的以自我为中心的生活助理项目。为此构建系统基础，我们进行了全面的数据收集研究：六名参与者在同一居所生活一周，使用 AI 眼镜持续记录日常活动——包括讨论、购物、烹饪、社交和娱乐——进行多模态自我为中心视频捕获，并同步获取第三人称视角的视频参考。这一工作最终形成 EgoLife 数据集，一个包含 300 小时自我为中心、人与人之间的、多视角和多模态日常生活数据集，配有详尽标注。基于该数据集，我们提出 EgoLifeQA，一套针对日常生活场景的长上下文问答任务，旨在通过回答诸如回忆过去相关事件、监控健康习惯、提供个性化建议等实际问题，从而提供有意义的生活辅助。为解决关键技术挑战（1）为自我为中心数据开发稳健的视觉-语音模型，（2）实现身份识别，（3）在大量时序信息上进行长上下文问答，我们提出 EgoButler 系统，集成 EgoGPT 与 EgoRAG。EgoGPT 是在自我为中心数据集上训练的全模态模型，在自我为中心视频理解方面取得最先进的性能；EgoRAG 是一个基于检索的组件，支持回答超长上下文问题。我们的实验研究验证了其工作机制，揭示了关键因素和瓶颈，指导了未来的改进。通过发布我们的数据集、模型和基准，我们旨在激发自我为中心 AI 助理的进一步研究。