UMIC：一种基于对比学习的无参考图像描述生成度量
计算与语言
2021-06-29 v1 计算机视觉与模式识别
摘要
尽管BERTScore等各类文本生成度量取得成功，由于描述的多样性，在缺乏足够参考描述的情况下评估图像描述仍十分困难。本文引入一种新度量UMIC，一种用于图像描述的无参考度量(Unreferenced Metric for Image Captioning)，其无需参考描述即可评估图像描述。基于视觉-语言BERT(Vision-and-Language BERT)，我们通过对比学习训练UMIC以判别负向描述。此外，我们观察到先前图像描述度量基准数据集（即人工标注）的关键问题，并引入一组针对生成描述的新人工标注。我们在四个数据集（含我们的新数据集）上验证UMIC，表明UMIC比所有需要多个参考的先前度量具有更高的相关性。我们发布基准数据集与预训练模型以计算UMIC。
引用
@article{arxiv.2106.14019,
title = {UMIC: An Unreferenced Metric for Image Captioning via Contrastive Learning},
author = {Hwanhee Lee and Seunghyun Yoon and Franck Dernoncourt and Trung Bui and Kyomin Jung},
journal= {arXiv preprint arXiv:2106.14019},
year = {2021}
}
备注
ACL 2021