EXPERT：一种基于结构解释的可解释图像字幕评估指标
计算与语言
2025-07-01 v1 人工智能
计算机视觉与模式识别
摘要
近期大语言模型和视觉语言模型的进展导致对可解释图像字幕评估指标的兴趣日益增长。然而，这些指标生成的解释缺乏标准化准则，且生成解释的整体质量尚未得到验证。本文我们提出 EXPERT，一种提供基于三个基本准则（流畅性、相关性和描述性）的结构化解释的 reference-free 评估指标。通过构建高质量结构化解释的大规模数据集，我们开发了两阶段评估模板，以有效监督视觉语言模型进行评分和解释生成。EXPERT 在基准数据集上实现了最先进的结果，同时通过全面的人类评估，提供的解释质量显著高于现有指标。我们的代码和数据集均可在 https://github.com/hjkim811/EXPERT 上获取。
引用
@article{arxiv.2506.24016,
title = {EXPERT: An Explainable Image Captioning Evaluation Metric with Structured Explanations},
author = {Hyunjong Kim and Sangyeop Kim and Jongheon Jeong and Yeongjae Cho and Sungzoon Cho},
journal= {arXiv preprint arXiv:2506.24016},
year = {2025}
}
备注
Accepted at ACL 2025 Findings