海滩上岂可凭空有钟：减少图像描述中的物体幻觉
计算机视觉与模式识别
2021-11-03 v2
摘要
用缺失或不存在的物体来解释图像，在图像描述中被称为物体偏差（幻觉）。这种行为在最优（SOTA）描述模型中相当常见，而这是人类所不期望的。为了减少描述中的物体幻觉，我们提出了三种简单而高效的句子训练增强方法，无需新的训练数据，也不增加模型规模。通过广泛的分析，我们表明所提方法能显著降低我们的模型在幻觉指标上的物体偏差。此外，我们通过实验证明，我们的方法降低了对视觉特征的依赖。我们所有的代码、配置文件和模型权重都将公开。
引用
@article{arxiv.2110.01705,
title = {Let there be a clock on the beach: Reducing Object Hallucination in Image Captioning},
author = {Ali Furkan Biten and Lluis Gomez and Dimosthenis Karatzas},
journal= {arXiv preprint arXiv:2110.01705},
year = {2021}
}
备注
Accepted to WACV 2022