视觉去幻觉指令生成：知道你不知道的
计算机视觉与模式识别
2024-02-16 v1
摘要
“拿破仑皇帝什么时候发明了 iPhone？”这类诱导幻觉的问题是生成式语言建模中众所周知的挑战。在本研究中，我们提出了一种视觉幻觉的创新概念，称为“我知道（IK）”幻觉，用于应对期望回答为“我不知道”的场景。为了有效解决这一问题，我们提出了 VQAv2-IDK 基准，它是 VQAv2 的一个子集，由人工标注者判定的无法回答的图像-问题对组成。进一步地，我们提出了针对 IK 幻觉的视觉去幻觉指令生成方法，并引入了 IDK-Instructions 视觉指令数据库。我们的实验表明，现有方法在应对 IK 幻觉时存在困难。然而，我们的方法能有效减少这些幻觉，证明了其在不同框架和数据集上的通用性。
引用
@article{arxiv.2402.09717,
title = {Visually Dehallucinative Instruction Generation: Know What You Don't Know},
author = {Sungguk Cha and Jusung Lee and Younghyun Lee and Cheoljong Yang},
journal= {arXiv preprint arXiv:2402.09717},
year = {2024}
}