QACE：通过提问评估图像描述
计算与语言
2021-08-31 v1 计算机视觉与模式识别
摘要
在本文中，我们提出 QACE，一种基于问答的图像描述评估新指标。QACE 在待评估描述上生成问题，并通过在参考描述或源图像上提问来检查其内容。我们首先开发 QACE-Ref，将待评估描述的答案与其参考进行比较，并报告与最先进指标具有竞争力的结果。为进一步推进，我们提出 QACE-Img，其直接在图像而非参考上提问。QACE-Img 需要一个视觉问答系统。遗憾的是，标准 VQA 模型被构建为仅在几千个类别中的分类。相反，我们提出 Visual-T5，一种抽象式视觉问答系统。由此得到的指标 QACE-Img 是多模态、无参考且可解释的。我们的实验表明，QACE-Img 相对于其他无参考指标具有优势。我们将发布预训练模型以计算 QACE。
引用
@article{arxiv.2108.12560,
title = {QACE: Asking Questions to Evaluate an Image Caption},
author = {Hwanhee Lee and Thomas Scialom and Seunghyun Yoon and Franck Dernoncourt and Kyomin Jung},
journal= {arXiv preprint arXiv:2108.12560},
year = {2021}
}
备注
EMNLP 2021 Findings