Redemption Score：基于分布式、感知与语言信号三角测量的图像描述评估框架
计算机视觉与模式识别
2025-09-25 v2 计算与语言
摘要
评估图像描述需要综合考量视觉语义和语言语用，大多数指标无法完全捕捉。我们引入 Redemption Score（RS），一种新型混合框架，通过三种互补信号的三角测量对图像描述进行排序：（1）基于互信息发散（MID）的全局图像-文本分布对齐，（2）基于 DINO 的感知相似性用于循环生成图像的视觉对齐，（3）基于 LLM 文本嵌入的上下文文本相似性与人类参考对齐。经校准的信号融合使 RS 能提供更全面的评估。在 Flickr8k 数据集上，RS 实现了 58.42 的 Kendall-，优于大多数先前方法，表明其在无需任务特定训练的情况下与人类判断具有更佳的相关性。我们的框架通过彻底检验视觉准确性和文本质量，提供更稳健、更细致的评估，同时在Conceptual Captions和MS COCO 上表现稳定。
引用
@article{arxiv.2505.16180,
title = {Redemption Score: A Multi-Modal Evaluation Framework for Image Captioning via Distributional, Perceptual, and Linguistic Signal Triangulation},
author = {Ashim Dahal and Ankit Ghimire and Saydul Akbar Murad and Nick Rahimi},
journal= {arXiv preprint arXiv:2505.16180},
year = {2025}
}