InfoMetIC：一种用于无参考图像描述评估的信息化度量
计算机视觉与模式识别
2023-05-11 v1
摘要
自动图像描述评估对于图像描述研究的基准测试和推进至关重要。现有度量仅提供单一分数来衡量描述质量，可解释性和信息性不足。相反，我们人类可以轻松细致地识别描述的问题，例如哪些词不准确、哪些显著对象未被描述，然后对描述质量进行评分。为支持此类信息化反馈，我们提出了一种用于无参考图像描述评估的信息化度量（InfoMetIC）。给定图像和描述，InfoMetIC 能够在细粒度层面报告错误词和未提及的图像区域，并在粗粒度层面提供文本精确率分数、视觉召回率和总体质量分数。在多个基准上，InfoMetIC 的粗粒度分数与人类判断的相关性显著优于现有度量。我们还构建了一个词元级评估数据集，并证明了 InfoMetIC 在细粒度评估中的有效性。我们的代码和数据集公开于 https://github.com/HAWLYQ/InfoMetIC。
引用
@article{arxiv.2305.06002,
title = {InfoMetIC: An Informative Metric for Reference-free Image Caption Evaluation},
author = {Anwen Hu and Shizhe Chen and Liang Zhang and Qin Jin},
journal= {arXiv preprint arXiv:2305.06002},
year = {2023}
}
备注
Accepted by ACL 2023 main conference