基于循环一致文本到图像生成评估图像描述
计算机视觉与模式识别
2025-01-09 v2
摘要
评估图像描述通常依赖参考描述，但获取成本高昂且存在显著的多样性和主观性。虽然提出了参考无关的评估指标，但大多数专注于描述和图像之间的跨模态评估。近期研究表明，模态间隙通常存在于基于对比学习的多模态系统的表示中，削弱了像 CLIPScore 这样的跨模态指标的可靠性。本文提出了 CAMScore，一种用于图像描述模型的循环参考无关自动评估指标。为规避上述模态间隙，CAMScore 利用文本到图像模型从描述生成图像，并随后将这些生成图像与原始图像进行评估。此外，为提供更全面的评估，我们设计了一个三层评估框架，用于 CAMScore，涵盖像素级、语义级和客观级视角。广泛的实验结果显示，CAMScore 在多个基准数据集上与人类判断的相关性优于现有的基于参考的和参考无关的指标，证明了该框架的有效性。
引用
@article{arxiv.2501.03567,
title = {Evaluating Image Caption via Cycle-consistent Text-to-Image Generation},
author = {Tianyu Cui and Jinbin Bai and Guo-Hua Wang and Qing-Guo Chen and Zhao Xu and Weihua Luo and Kaifu Zhang and Ye Shi},
journal= {arXiv preprint arXiv:2501.03567},
year = {2025}
}