FGAIF：通过细粒度 AI 反馈对齐大型视觉语言模型
计算机视觉与模式识别
2025-05-07 v2 计算与语言
摘要
大型视觉语言模型（LVLMs）已展现出处理各种视觉语言任务的能力。然而，当前的 LVLMs 存在文本与图像模态之间不对齐的问题，这导致了三种幻觉问题，即对象存在、对象属性和对象关系。为了解决这一问题，现有方法主要利用强化学习（RL）来对齐 LVLMs 中的模态。然而，它们仍存在三个主要局限性：(1) 一般反馈无法指示响应中包含的幻觉类型；(2) 稀疏奖励仅给出整个响应的序列级奖励；(3) 标注成本耗时且费力。为了解决这些局限性，我们提出了一种创新方法，通过细粒度人工智能反馈（FGAIF）来对齐 LVLMs 中的模态，该方法主要包括三个步骤：基于 AI 的反馈收集、细粒度奖励模型训练以及带有细粒度奖励的强化学习。具体而言，我们首先利用 AI 工具预测响应中每个片段的幻觉类型，并获得一组细粒度反馈。然后，基于收集到的奖励数据，训练三个专门的奖励模型以产生密集奖励。最后，将一个新颖的细粒度反馈模块集成到近端策略优化（PPO）算法中。我们在幻觉和通用基准上进行了大量实验，证明了我们提出方法的优越性能。值得注意的是，与先前使用基于 RL 的对齐方法训练的模型相比，我们提出的方法即使在参数较少的情况下也很有效。
引用
@article{arxiv.2404.05046,
title = {FGAIF: Aligning Large Vision-Language Models with Fine-grained AI Feedback},
author = {Liqiang Jing and Xinya Du},
journal= {arXiv preprint arXiv:2404.05046},
year = {2025}
}