MARS：EgoVis 2026 CASTLE 挑战赛技术报告
计算机视觉与模式识别
2026-05-19 v1 人工智能
摘要
本报告介绍了 MARS（Multimodal Agentic Reasoning with Source selection，基于源选择的多模体代理推理），这是我们为 EgoVis 2026 CASTLE 挑战赛开发的系统。参赛者必须针对 CASTLE 2024 数据集回答 185 个封闭式问题。与以往的单视频第一人称视角基准不同，CASTLE 需要对四天的活动、15 个同步视角、官方转录文本以及多种辅助模态进行推理，包括个人照片、辅助视频、注视点、热成像图像和心率测量。因此，MARS 将该任务视为多模态源上的代理证据选择问题，而非纯文本流水线。MARS 首先遵循官方 CASTLE 目录组织，从两个主要来源（视频和转录文本）和四个辅助来源（注视点、心率、照片和热成像图像）构建证据记忆。长视频被转换为字幕和基于 DeepSeek 的摘要，仅因为 CASTLE 视频太长，无法针对每个问题直接放入模型上下文中；这一步压缩了时间证据，同时保留照片和其他辅助媒体作为特定来源的证据。在推理时，GPT-5.4 决策代理反复选择是继续推理、请求特定缺失模态、生成答案，还是在证据不足时回退到随机选项。最终系统在 CASTLE 挑战赛最终排行榜上获得第二名。我们的代码可在 https://github.com/Hyu-Zhang/MARS 获取。
引用
@article{arxiv.2605.18176,
title = {MARS: Technical Report for the CASTLE Challenge at EgoVis 2026},
author = {Haoyu Zhang and Qiaohui Chu and Yisen Feng and Meng Liu and Weili Guan and Yaowei Wang and Liqiang Nie},
journal= {arXiv preprint arXiv:2605.18176},
year = {2026}
}
备注
The Runner-up Solution for CASTLE Challenge @ EgoVis 2026