中文

EgoGraph:用于 ego-centric 视频理解的时空知识图

计算机视觉与模式识别 2026-03-02 v1

摘要

跨越多天的超长 ego-centric 视频在视频理解方面存在显著挑战。现有方法仍依赖片段化的局部处理和有限的时空建模,限制了其对此类长序列的推理能力。为此,我们引入 EgoGraph,一个无需训练且动态构建的知识图框架,显式编码 ego-centric 视频流中跨实体的长期依赖关系。EgoGraph 采用新颖的 ego-centric 模式,统一提取和抽象核心实体(如人物、物体、地点和事件),并对其属性和相互作用进行结构化推理,生成远超传统片段基视频模型的更丰富且更连贯的语义表示。关键地,我们发展了时空关系建模策略,捕获跨实体的时空依赖并在多天内累积稳定的长期记忆,实现复杂的时空推理。大量实验表明,EgoGraph 在 EgoLifeQA 和 EgoR1-bench 数据集上实现了长期视频问答的最新性能,验证了其作为超长 ego-centric 视频理解新范式的有效性。

关键词

引用

@article{arxiv.2602.23709,
  title  = {EgoGraph: Temporal Knowledge Graph for Egocentric Video Understanding},
  author = {Shitong Sun and Ke Han and Yukai Huang and Weitong Cai and Jifei Song},
  journal= {arXiv preprint arXiv:2602.23709},
  year   = {2026}
}

备注

Under review