FLEUR：一种用于图像字幕的可解释参考无关评估指标
计算机视觉与模式识别
2024-06-11 v1 人工智能
计算与语言
摘要
大多数现有图像字幕评估指标侧重于通过与参考字幕比较来为字幕分配单个数值分数。然而，这些方法无法提供分配得分的解释，而且获取参考字幕成本高昂。本文提出了FLEUR（FLEUR：一种可解释的参考无关评估指标），以引入可解释性到图像字幕评估指标中。通过利用大型多模态模型，FLEUR可以在无需参考字幕的情况下对字幕进行评估，并提供分配得分的解释。我们引入分数平滑，以尽可能贴近人类判断，并对用户定义的评分标准具有鲁棒性。FLEUR在各种图像字幕评估基准测试中均实现了与人类判断的高相关性，并在Flickr8k-CF、COMPOSITE和Pascal-50S等参考无关评估指标领域内达到了最好的成绩。我们的源代码和结果已公开发布于：https://github.com/Yebin46/FLEUR。
引用
@article{arxiv.2406.06004,
title = {FLEUR: An Explainable Reference-Free Evaluation Metric for Image Captioning Using a Large Multimodal Model},
author = {Yebin Lee and Imseong Park and Myungjoo Kang},
journal= {arXiv preprint arXiv:2406.06004},
year = {2024}
}
备注
Accepted at ACL (Main) 2024