DENEB：一种抗幻觉的图像描述自动评估指标

在这项工作中，我们致力于解决开发图像描述自动评估指标的挑战，特别关注对幻觉的鲁棒性。现有指标在处理幻觉时往往不够充分，主要原因是它们在将候选描述与多方面的参考描述进行比较时能力有限。为了解决这一缺陷，我们提出了 DENEB，一种新颖的监督式自动评估指标，对幻觉具有特定的鲁棒性。DENEB 融入了 Sim-Vec Transformer，这是一种同时处理多个参考的机制，从而有效地捕获图像、候选描述和参考描述之间的相似度。为了训练 DENEB，我们构建了多样且均衡的 Nebula 数据集，包含 32,978 张图像，并配有 805 名标注者提供的人类判断。我们证明了 DENEB 在 FOIL、Composite、Flickr8K-Expert、Flickr8K-CF、Nebula 和 PASCAL-50S 数据集上取得了现有无 LLM 指标中最先进的性能，验证了其有效性和对幻觉的鲁棒性。