IMPACT-CYCLE：一种基于合约的多智能体系统，用于长视频语义记忆的声明级监督校正
计算机视觉与模式识别
2026-04-23 v1 人工智能
摘要
纠正长视频理解中的错误成本极高：现有的多模态流程产生不透明的端到端输出，不暴露任何中间状态以供检查，迫使标注者重新查看原始视频并从头重建时序逻辑。核心瓶颈不仅仅在于生成质量，更在于缺乏一个监督接口，使得人工投入能与每个错误的范围成正比。我们提出了IMPACT-CYCLE，一个监督式多智能体系统，它将长视频理解重新定义为对共享语义记忆进行迭代式声明级维护——一种结构化的、带版本的状态，编码了类型化声明、声明依赖图和溯源日志。在明确权限合约下运行的角色专用智能体将验证分解为局部对象-关系正确性、跨时间一致性和全局语义连贯性，并将修正限制在结构上依赖的声明上。当自动化证据不足时，系统会升级至人类仲裁，作为拥有最终否决权的监督权威；随后进行的依赖闭包再验证确保修正成本与错误范围成正比。在VidOR数据集上的实验表明，下游推理能力显著提升（VQA：0.71至0.79），人类仲裁成本降低了4.8倍，工作量显著低于手动标注。代码将发布在https://github.com/MKong17/IMPACT_CYCLE。
引用
@article{arxiv.2604.20136,
title = {IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory},
author = {Weitong Kong and Di Wen and Kunyu Peng and David Schneider and Zeyun Zhong and Alexander Jaus and Zdravko Marinov and Jiale Wei and Ruiping Liu and Junwei Zheng and Yufan Chen and Lei Qi and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2604.20136},
year = {2026}
}
备注
7 pages, 2 figures, code are available at https://github.com/MKong17/IMPACT_CYCLE