视觉语言模型是否失去信心？关于视觉语言模型中奉承行为的研究
计算机视觉与模式识别
2024-10-16 v1 人工智能
计算与语言
机器学习
摘要
在大语言模型(LLM)的研究中，奉客行为代表一种常见的幻觉现象，对这些模型构成重大挑战。具体而言，LLM往往未能遵循原始的正确答案，而是盲目接受用户的意见，即使这些意见是错误的或有害的。然而，关于视觉语言模型(VLM)中奉客行为的研究却寥寥无几。本文将奉客行为的探讨从LLM扩展到VLM，引入MM-SY基准测试以评估这一现象。我们呈现来自多个代表性模型的评估结果，填补了VLM奉客行为研究的空白。为缓解奉客行为，本文提出了一个用于训练的合成数据集，并采用基于提示词的方法、监督微调和DPO方法。我们的实验表明，这些方法有效缓解了VLM中的奉客行为。此外，我们探测VLM以评估奉客行为的语义影响，并分析了视觉token的注意力分布。我们的发现表明，防止奉客行为的能力主要出现在模型的高层。缺乏对这些高层中图像知识的注意力可能导致奉客行为，而在高层增强图像注意力有助于缓解这一问题。
引用
@article{arxiv.2410.11302,
title = {Have the VLMs Lost Confidence? A Study of Sycophancy in VLMs},
author = {Shuo Li and Tao Ji and Xiaoran Fan and Linsheng Lu and Leyi Yang and Yuming Yang and Zhiheng Xi and Rui Zheng and Yuran Wang and Xiaohui Zhao and Tao Gui and Qi Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2410.11302},
year = {2024}
}