Ego-R1：用于超长程自我姿态视频推理的链式工具思维
计算机视觉与模式识别
2025-06-17 v1 人工智能
摘要
我们介绍 Ego-R1，这是一个针对超长(即数天数周数)自我姿态视频进行推理的新框架，利用由 Ego-R1 Agent 通过强化学习训练的结构化链式工具思维(CoTT)过程。灵感来自人类问题解决策略，CoTT 将复杂推理分解为模块化步骤，由 RL Agent 在每个步骤中调用特定工具，以迭代和协作方式回答针对此类任务(如时序检索和多模态理解)的子问题。我们设计了两个阶段的训练范例，涉及使用 CoTT 数据对预训练语言模型进行监督微调(SFT)，以及 RL 以使我们的 Agent 能够动态提出针对长程推理的逐步工具。为促进训练，我们构建了一个称为 Ego-R1 Data 的数据集，包含用于 SFT 的 Ego-CoTT-25K 和用于 RL 的 Ego-QA-4.4K。此外，我们的 Ego-R1 Agent 在一个新精选的周长视频 QA 基准上进行评估，即 Ego-R1 Bench，其中包含来自混合来源的人工验证的 QA 对。广泛结果表明，我们的 Ego-R1 Agent 通过动态、工具增强的链式思维推理能够有效应对理解超长自我姿态视频的独特挑战，将时间覆盖范围显著扩展从几个小时到一周。
引用
@article{arxiv.2506.13654,
title = {Ego-R1: Chain-of-Tool-Thought for Ultra-Long Egocentric Video Reasoning},
author = {Shulin Tian and Ruiqi Wang and Hongming Guo and Penghao Wu and Yuhao Dong and Xiuying Wang and Jingkang Yang and Hao Zhang and Hongyuan Zhu and Ziwei Liu},
journal= {arXiv preprint arXiv:2506.13654},
year = {2025}
}
备注
Project page: https://egolife-ai.github.io/Ego-R1/