CVPR2024 NICE 图像描述挑战赛的解决方案
计算机视觉与模式识别
2024-04-30 v2
摘要
本报告介绍了 2024 NICE：零样本图像描述评估新前沿（2024 NICE: New frontiers for zero-shot Image Captioning Evaluation）主题 1 零样本图像描述（Zero-shot Image Captioning）的解决方案。与 NICE 2023 数据集相比，本次挑战赛包含了由人工添加的新标注，在描述风格和内容上存在显著差异。因此，我们通过检索增强和描述分级方法有效提升了图像描述质量。在数据层面，我们利用图像描述模型生成的高质量描述作为训练数据，以弥补文本风格上的差距。在模型层面，我们采用 OFA（一种基于手工模板的大规模视觉-语言预训练模型）来执行图像描述任务。随后，我们针对图像描述模型生成的高质量描述数据提出了描述级策略，并将其与检索增强策略整合到模板中，促使模型基于检索增强提示生成更高质量、更匹配且语义更丰富的描述。我们的方法取得了 234.11 的 CIDEr 分数。
引用
@article{arxiv.2404.12739,
title = {The Solution for the CVPR2024 NICE Image Captioning Challenge},
author = {Longfei Huang and Shupeng Zhong and Xiangyu Wu and Ruoxuan Li},
journal= {arXiv preprint arXiv:2404.12739},
year = {2024}
}