理解多模态大语言模型中的对齐方式：全面研究
计算机视觉与模式识别
2024-07-03 v1 计算与语言
摘要
偏好对齐已成为增强大语言模型 (LLM) 性能的关键组件，但其在多模态大语言模型 (MLLM) 中的影响相对不太被探索。类似于语言模型，MLLM 在图像理解任务中会遇到类似幻觉的问题。 在 MLLM 中，幻觉不仅可以表现为陈述错误事实，还可以表现为与图像内容不一致的响应。 MLLM 的对齐主要目标是鼓励这些模型更 closely 地与图像信息对齐。最近，多个工作为 MLLM 引入了偏好数据集并考察了不同对齐方法，包括直接偏好优化 (DPO) 和近端策略优化 (PPO)。然而，由于数据集、基模型类型和对齐方法的差异，仍不清楚哪些具体元素对这些工作报告的改进贡献最大。在本文中，我们独立地分析了 MLLM 中偏好对齐的各个方面。我们首先将对齐算法分为两组，即离线（如 DPO）和在线（如 online-DPO），并显示在某些情况下将离线和在线方法结合可以使用户模型性能提升。我们审查了各种发布的多模态偏好数据集，并讨论了其构建细节如何影响模型性能。基于这些见解，我们引入了一种创建多模态偏好数据的新方法，称为 Bias-Driven Hallucination Sampling (BDHS)，无需额外标注或外部模型，即可在多个基准测试中实现与之前发表的多模态模型对齐工作相当的性能。
引用
@article{arxiv.2407.02477,
title = {Understanding Alignment in Multimodal LLMs: A Comprehensive Study},
author = {Elmira Amirloo and Jean-Philippe Fauconnier and Christoph Roesmann and Christian Kerl and Rinu Boney and Yusu Qian and Zirui Wang and Afshin Dehghan and Yinfei Yang and Zhe Gan and Peter Grasch},
journal= {arXiv preprint arXiv:2407.02477},
year = {2024}
}