超越幻觉：通过幻觉感知直接偏好优化增强大型视觉语言模型
计算机视觉与模式识别
2024-02-07 v2 计算与语言
摘要
多模态大语言模型近年来取得了显著进展，但它们仍饱受被称为“幻觉问题”的常见困扰，即模型生成的文本描述不准确描绘甚至完全虚构关联图像中的内容。本文提出一种新颖解决方案——幻觉感知直接偏好优化（Hallucination-Aware Direct Preference Optimization, HA-DPO），将幻觉问题重新定义为偏好选择任务。当给定同一图像的两个响应（一个准确、一个含幻觉）时，模型被训练为偏好无幻觉的响应。此外，本文提出一种高效流水线用于构建正样本（无幻觉）与负样本（含幻觉）对，确保为鲁棒偏好学习提供高质量、风格一致的数据集。应用于三种主流多模态模型时，HA-DPO显著减少了幻觉问题并增强了模型的泛化能力。值得注意的是，经HA-DPO增强的MiniGPT-4模型表现出大幅提升：POPE准确率从51.13%升至86.13%（绝对提升35%），MME分数从932.00跃升至1326.46（相对提升42.32%）。代码、模型与数据集发布于 https://opendatalab.github.io/HA-DPO。
引用
@article{arxiv.2311.16839,
title = {Beyond Hallucinations: Enhancing LVLMs through Hallucination-Aware Direct Preference Optimization},
author = {Zhiyuan Zhao and Bin Wang and Linke Ouyang and Xiaoyi Dong and Jiaqi Wang and Conghui He},
journal= {arXiv preprint arXiv:2311.16839},
year = {2024}
}
备注
Project Website: https://opendatalab.github.io/HA-DPO, Code: https://github.com/opendatalab/HA-DPO