中文

AIDE:通过领域专家代理化改进视觉语言模型

计算机视觉与模式识别 2025-02-14 v1 人工智能 多智能体系统

摘要

视觉语言模型(VLMs)的提升传统上依赖于从更大、更强大的模型进行知识蒸馏。这种依赖导致了对提升最先进系统的根本性瓶颈,尤其是在不存在更优模型时。我们引入 AIDE(Agentic Improvement through Domain Experts),这是一种新型框架,使 VLMs 能够通过利用专门的领域专家模型来自主提升其能力。AIDE 通过四个阶段运行:(1)识别需要细化的实例,(2)与领域专家进行针对性分析,(3)综合专家输出与现有数据,(4)将增强后的实例集成到训练管道中。在多个基准测试(包括 MMMU、MME、MMBench 等)上的实验表明,AIDE 能够在不依赖更大的 VLMs 或人工监督的情况下实现显著的性能提升。我们的框架提供了一种可扩展、资源高效的持续 VLMs 改进方法,解决了当前方法的关键局限,特别是在没有更大模型可供访问时,这尤为重要。

关键词

引用

@article{arxiv.2502.09051,
  title  = {AIDE: Agentically Improve Visual Language Model with Domain Experts},
  author = {Ming-Chang Chiu and Fuxiao Liu and Karan Sapra and Andrew Tao and Yaser Jacoob and Xuezhe Ma and Zhiding Yu and Guilin Liu},
  journal= {arXiv preprint arXiv:2502.09051},
  year   = {2025}
}

备注

6 pages, 4 figures, 2 tables