一种基于联合目标的细粒度图像描述生成方法
计算机视觉与模式识别
2023-11-23 v1 人工智能
摘要
细粒度图像描述生成技术的目标是从图像中学习细节信息，并模拟类人的描述，提供关于图像内容连贯且全面的文本细节。当前此类方法主要面临两个挑战：描述重复与描述遗漏。此外，现有评测指标无法清晰反映模型在这两方面上的表现。为应对这些挑战，我们提出了一种创新的基于联合目标的细粒度图像描述生成模型。进而，我们引入新的基于物体的评测指标，以更直观地评估模型处理描述重复与遗漏的性能。该新方法结合图像级与物体级视觉特征以最大化其优势，并融入物体惩罚机制以减少描述重复。实验结果表明，我们提出的方法显著提升了 CIDEr 评测指标，显示出其在解决描述重复与遗漏问题上的优异性能。
引用
@article{arxiv.2311.12799,
title = {A Fine-Grained Image Description Generation Method Based on Joint Objectives},
author = {Yifan Zhang and Chunzhen Lin and Donglin Cao and Dazhen Lin},
journal= {arXiv preprint arXiv:2311.12799},
year = {2023}
}