REO—相关性、冗余性与遗漏：一种用于图像描述的细粒度评价方法
计算与语言
2019-09-06 v1 计算机视觉与模式识别
摘要
用于评价图像描述系统的流行指标（如 BLEU 与 CIDEr）提供单一分数以衡量系统整体有效性。该分数往往信息量不足，无法指示特定系统所犯的具体错误。本研究提出一种细粒度评价方法 REO，用于自动衡量图像描述系统的性能。REO 从三个角度评估描述质量：1）与真实标注的相关性，2）与真实标注无关内容的冗余性，以及 3）对图像元素与人工参考的遗漏。在三个基准数据集上的实验表明，相较其他指标，我们的方法与人类判断具有更高一致性，并提供更直观的评价结果。
引用
@article{arxiv.1909.02217,
title = {REO-Relevance, Extraness, Omission: A Fine-grained Evaluation for Image Captioning},
author = {Ming Jiang and Junjie Hu and Qiuyuan Huang and Lei Zhang and Jana Diesner and Jianfeng Gao},
journal= {arXiv preprint arXiv:1909.02217},
year = {2019}
}