在Ego4D Episodic Memory Challenge 2026上的OSGNet配合MLLM重排序
计算机视觉与模式识别
2026-05-21 v1
摘要
本报告呈现我们在CVPR 2026的Ego4D Episodic Memory Challenge中针对Natural Language Queries和GoalStep赛道所获冠军解决方案。两个赛道都要求准确定位来自长未裁剪的镜头内生动视频中的时间段。为解决这些任务，我们提出了一种基于重新排序的框架，有效地利用了多模态大型语言模型(MLLM)的强大视频语言推理能力，同时保留了常规localization管道的效率和候选召回率。具体而言，我们首先从现有的localization模型OSGNet获取一组候选视频片段，然后采用MLLM选择与给定查询最匹配的片段，从而细化最终预测。最终，我们的方法在Natural Language Queries和GoalStep赛道中均取得了第一名。我们的代码可在https://github.com/iLearn-Lab/CVPR25-OSGNet上获得。
关键词
引用
@article{arxiv.2605.20818,
title = {OSGNet with MLLM Reranking @ Ego4D Episodic Memory Challenge 2026},
author = {Yisen Feng and Leigang Qu and Haoyu Zhang and Qiaohui Chu and Meng Liu and Xuemeng Song and Weili Guan and Liqiang Nie},
journal= {arXiv preprint arXiv:2605.20818},
year = {2026}
}
备注
Champion solution for the Natural Language Queries and GoalStep tracks of the Ego4D Challenge at the CVPR EgoVis Workshop 2026