EgoEdit：面向以人物自我视角视频编辑的数据集、实时流式模型与基准
计算机视觉与模式识别
2025-12-09 v1 人工智能
摘要
我们研究面向交互式 AR 应用的以人物自我视角视频指令导向编辑。虽然近期 AI 视频编辑器在第三人称视角下表现良好，但以人物自我视角面临独特挑战——包括快速自身运动和频繁的手部-物体交互——形成显著的领域差距。此外，现有离线编辑管道存在高延迟，限制了实时交互。为此，我们提出完整的生态系统用于以人物自我视角视频编辑。首先，我们构建 EgoEditData 数据集，专为以人物自我视角编辑场景设计，包含丰富的手部-物体交互，同时显式保留手部。其次，我们开发 EgoEdit 视频编辑器，支持单 GPU 上的实时流式推理。最后，我们引入 EgoEditBench 评估套件，针对指令忠实度、手部与交互保留以及在自我运动下的时间稳定性进行评估。 在包括人物自我视角编辑和通用编辑任务在内的两个领域，EgoEdit 均产生了具有交互式延迟的时序稳定、指令忠实的结果。在人物自我视角编辑基准上实现显著提升——现有方法在此领域表现不佳——同时在通用编辑任务上保持与最强基线相当的性能。EgoEditData 和 EgoEditBench 将对公开供研究社区使用。详见我们的网站 https://snap-research.github.io/EgoEdit
关键词
引用
@article{arxiv.2512.06065,
title = {EgoEdit: Dataset, Real-Time Streaming Model, and Benchmark for Egocentric Video Editing},
author = {Runjia Li and Moayed Haji-Ali and Ashkan Mirzaei and Chaoyang Wang and Arpit Sahni and Ivan Skorokhodov and Aliaksandr Siarohin and Tomas Jakab and Junlin Han and Sergey Tulyakov and Philip Torr and Willi Menapace},
journal= {arXiv preprint arXiv:2512.06065},
year = {2025}
}
备注
Project page: https://snap-research.github.io/EgoEdit