MLLM 评判器存在模型偏好偏置
计算机视觉与模式识别
2026-04-14 v1
摘要
使用多模态大语言模型 (multimodal large language models, MLLMs) 进行的自动评估，通常称为 MLLM-as-a-Judge，已被广泛用于衡量模型性能。若此类 MLLM-as-a-Judge 方法存在偏差，可能扭曲模型比较并影响以基准为导向的科学进展。然而，目前尚不清楚 MLLM-as-a-Judge 方法对特定 MLLM 生成的文本是偏好还是不偏好。在本研究中，我们提出了 Philautia-Eval 以调查此类模型特定偏好偏置。Philautia-Eval 通过分离偏好倾向与生成质量差异来量化偏置程度。我们收集了来自 12 个 MLLM 的 129 万张图文评分对，发现代表性 MLLM 倾向于表现出自我偏好。此外，实验结果表明特定模型家族内部存在相互偏好偏置，这可能由重复使用的连接器和重叠的指令微调资源所致。最后，我们引入了一个简单的 MLLM 集成方法 Pomms。我们的结果表明，Pomms 有效缓解了模型特定偏好偏置，同时保持了性能。
引用
@article{arxiv.2604.11589,
title = {MLLM-as-a-Judge Exhibits Model Preference Bias},
author = {Shuitsu Koyama and Yuiga Wada and Daichi Yashima and Komei Sugiura},
journal= {arXiv preprint arXiv:2604.11589},
year = {2026}
}