值得关注的差异：审计模型以发现和纠正能力差距
计算机视觉与模式识别
2025-12-19 v1 人工智能
摘要
传统的多模态大语言模型（MLLM）评估方法缺乏可解释性，往往不足以充分披露模型之间显著的能力差距。为此，我们引入 AuditDM，一个自动化框架，通过审计模型的发散来主动发现和纠正 MLLM 失效模式。AuditDM 通过强化学习微调 MLLM 作为审计员，以生成挑战性问题和反事实图像来最大化目标模型之间的不一致。训练后，审计员会揭示多样且可解释的范例，揭示模型弱点并作为无标注数据用于纠正。在应用于 Gemma-3 和 PaliGemma-2 等 SoTA 模型时，AuditDM 发现了超过 20 种不同的失效类型。在 16 个基准测试中，对这些发现进行微调均一致改善所有模型，甚至使 3B 参数模型超越其 28B 参数模型 counterparts。我们的结果表明，随着数据规模进入收益递减，针对性模型审计为模型诊断和改进提供了有效路径。
引用
@article{arxiv.2512.16921,
title = {Differences That Matter: Auditing Models for Capability Gap Discovery and Rectification},
author = {Qihao Liu and Chengzhi Mao and Yaojie Liu and Alan Yuille and Wen-Sheng Chu},
journal= {arXiv preprint arXiv:2512.16921},
year = {2025}
}
备注
project page: https://auditdm.github.io/