大型视觉语言模型中的幻觉检测与预防
计算机视觉与模式识别
2024-02-13 v3 机器学习
摘要
经过指令微调的大型视觉语言模型（LVLM）在泛化到多种多模态任务方面取得了显著进展，尤其是在视觉问答（VQA）上。然而，生成具有视觉依据的细节化回复对这些模型而言仍是一项挑战。我们发现，即便是当前最先进的 LVLM（InstructBLIP）仍包含高达 30% 的幻觉文本，表现为不存在的物体、不忠实的描述以及不准确的关系。为此，我们提出 M-HalDetect，一个多模态幻觉检测数据集（(M)ultimodal (Hal)lucination (Detect)ion Dataset），可用于训练和评测幻觉检测与预防模型。M-HalDetect 包含 16k 条针对 VQA 样本的细粒度标注，是首个面向细节图像描述的综合性多模态幻觉检测数据集。与以往仅关注物体幻觉的工作不同，我们还标注了不忠实的实体描述与关系。为展示该数据集在幻觉预防上的潜力，我们通过新颖的细粒度直接偏好优化（FDPO）对 InstructBLIP 进行优化，并从 InstructBLIP 训练了细粒度多模态奖励模型，通过 best-of-n 拒绝采样评估其效果。我们对 FDPO 与拒绝采样均做了人工评估，发现它们分别将 InstructBLIP 的幻觉率降低了 41% 和 55%。我们还发现，我们的奖励模型可泛化至其他多模态模型，将 LLaVA 与 mPLUG-OWL 的幻觉分别降低 15% 和 57%，且与人工评估的准确率分数高度相关。
引用
@article{arxiv.2308.06394,
title = {Detecting and Preventing Hallucinations in Large Vision Language Models},
author = {Anisha Gunjal and Jihan Yin and Erhan Bas},
journal= {arXiv preprint arXiv:2308.06394},
year = {2024}
}
备注
AAAI 2024