多层次偏好自动化框架
计算机视觉与模式识别
2024-05-30 v4
摘要
当前多模态大语言模型（MLLMs）存在“幻觉”问题，偶尔会生成不基于输入图像的响应。为解决这一挑战，利用人类反馈强化学习（RLHF）是一个有前景的路径，可引导MLLMs学习优越的响应，同时避免劣质响应。我们重新思考了使用二元偏好（即优越、劣势）的常见做法，发现采用多层次偏好（例如优越、中等、劣势）更有优势：1）它缩小相邻层次之间的差距，从而鼓励MLLMs辨别细微差异。2）它进一步整合跨层次的比较（超越相邻层次的比较），因此提供了更广泛的比较范围，以包含幻觉示例。为验证我们的观点，我们提出了用于MLLMs的自动化多层次偏好（AMP）框架。为支持此框架，我们首先开发了一个自动化数据集生成管道，可提供无需任何人类标注的高质量多层次偏好数据集。此外，我们设计了多层次直接偏好优化（MDPO）算法，以稳健地进行复杂的多层次偏好学习。此外，我们提出了一个新的幻觉基准测试，MRHal-Bench。广泛的实验在公开的幻觉和通用基准测试以及我们的MRHal-Bench上，都证明了我们所提出方法的有效性。代码可在https://github.com/takomc/amp获取。
引用
@article{arxiv.2405.11165,
title = {Automated Multi-level Preference for MLLMs},
author = {Mengxi Zhang and Wenhao Wu and Yu Lu and Yuxin Song and Kang Rong and Huanjin Yao and Jianbo Zhao and Fanglong Liu and Yifan Sun and Haocheng Feng and Jingdong Wang},
journal= {arXiv preprint arXiv:2405.11165},
year = {2024}
}
备注
Preprint