OPCcap: 面向对象的无偏提示生成图像描述
计算机视觉与模式识别
2025-01-20 v2
摘要
在图像描述领域，当缺失或不存在的对象被用来解释图像时，称为对象偏差（或幻觉）。为缓解此问题，我们提出一种目标感知提示策略。该方法首先使用目标检测器从图像中提取对象标签及其空间信息。随后，属性预测器进一步细化对象的语义特征。这些被细化后的特征随后被整合并输入解码器，从而增强模型对图像上下文的理解。在COCO和nocaps数据集上的实验结果表明，OPCcap有效缓解了幻觉现象，显著提升了生成描述的质量。
引用
@article{arxiv.2412.00095,
title = {OPCap:Object-aware Prompting Captioning},
author = {Feiyang Huang},
journal= {arXiv preprint arXiv:2412.00095},
year = {2025}
}