基于合成图像的零样图描述中的负实体抑制
计算机视觉与模式识别
2025-11-13 v1
摘要
文本-only 训练提供了一种吸引人的方法，以避免在零样图描述（ZIC）中收集配对图像-文本标注的费用。然而，尽管这些方法在训练域内表现良好，但在跨域泛化方面表现不佳，常在遇到新视觉环境时产生幻觉内容。基于检索的方法试图通过利用外部知识来缓解此限制，但检索到的描述若包含与输入无关的实体，反而会加剧幻觉现象。我们提出了负实体的概念——即生成描述中出现但缺失于输入中的对象——并提出负实体抑制（NES）以应对这一挑战。NES 无缝集成三个阶段：（1）利用合成图像确保训练和推理过程中的图像-文本检索一致性；（2）过滤检索内容中的负实体以提高准确性；（3）运用识别出的负实体在注意力层面上抑制，以进一步最小化易产生幻觉特征的影响。跨多个基准的评估表明，NES 在保持有竞争力的领域内性能的同时，提高了跨域迁移并降低了幻觉率，实现了 ZIC 中的新型最先进结果。我们的代码已公开于 https://github.com/nidongpinyinme/NESCap。
引用
@article{arxiv.2511.08909,
title = {Negative Entity Suppression for Zero-Shot Captioning with Synthetic Images},
author = {Zimao Lu and Hui Xu and Bing Liu and Ke Wang},
journal= {arXiv preprint arXiv:2511.08909},
year = {2025}
}
备注
7 pages, 5 figures