Symphony：面向长视频理解的类认知启发式多智能体系统
计算机视觉与模式识别
2026-03-19 v1 人工智能
摘要
尽管 MLLM 智能体取得了快速发展并得到广泛应用，但它们在长表单视频理解（LVU）任务上仍存在挑战，这类任务具有高信息密度和扩展的时间跨度。最近的 LVU 智能体研究表明，简单的任务分解和协作机制对长链推理任务已不够。此外，直接通过基于嵌入的检索来缩短时间上下文可能会丢失复杂问题的关键信息。本文提出了 Symphony，一种多智能体系统，以缓解上述局限性。通过模拟人类认知模式，Symphony 将 LVU 分解为细粒度子任务，并引入由反思增强的深度推理协作机制，有效提升了推理能力。此外，Symphony 提供一种基于 VLM 的 grounding 方法，用于分析 LVU 任务并评估视频片段的相关性，这显著增强了定位隐式意图和大时间跨度复杂问题的能力。实验结果表明，Symphony 在 LVBench、LongVideoBench、VideoMME 和 MLVU 上实现了最新进展，相较于 prior 最新方法在 LVBench 上提升了 5.0%。代码已公开 https://github.com/Haiyang0226/Symphony。
引用
@article{arxiv.2603.17307,
title = {Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding},
author = {Haiyang Yan and Hongyun Zhou and Peng Xu and Xiaoxue Feng and Mengyi Liu},
journal= {arXiv preprint arXiv:2603.17307},
year = {2026}
}
备注
Accepted by cvpr2026