VQ-Jarvis：面向视频修复的检索增强智能体，拥有锐利的视野与快速的思维
计算机视觉与模式识别
2026-03-25 v1
摘要
在现实场景中进行视频修复面临异构退化问题，静态架构和固定推理流程往往难以泛化。最近的基于智能体的方法提供了动态决策能力，但现有的视频修复智能体仍受限于质量感知不足和搜索策略效率低下。我们提出 VQ-Jarvis，一个检索增强的全能型智能视频修复代理，拥有更锐利的视野与更快速的思维。VQ-Jarvis 设计为准确感知退化情况以及成对修复结果之间的细微差异，同时高效发现最优的修复路径。为实现锐利的视野，我们构建了 VSR-Compare，即首个大规模视频配对增强数据集，包含 20K 组比较配对，覆盖 7 种退化类型、11 种增强算子以及多样化的内容领域。基于该数据集，我们训练了多算子判官模型和退化感知模型，以引导智能体决策。为实现快速思维，我们引入层次化算子调度策略，根据视频难度进行适应：对于容易的情况，从检索增强生成 (RAG) 库中以单步骤检索方式获取最优修复路径；对于较难的情况，执行分步贪心搜索，以平衡效率与准确性。大量实验表明，VQ-Jarvis 在复杂退化视频上 consistently 优于现有方法。
引用
@article{arxiv.2603.22998,
title = {VQ-Jarvis: Retrieval-Augmented Video Restoration Agent with Sharp Vision and Fast Thought},
author = {Xuanyu Zhang and Weiqi Li and Qunliang Xing and Jingfen Xie and Bin Chen and Junlin Li and Li Zhang and Jian Zhang and Shijie Zhao},
journal= {arXiv preprint arXiv:2603.22998},
year = {2026}
}
备注
Video restoration, Agent-based restoration