PR-MCS：面向多语言图像字幕的扰动鲁棒度量
计算与语言
2023-03-16 v1
摘要
对词法扰动的脆弱性是图像字幕自动评测指标的一个关键弱点。本文提出扰动鲁棒多语言 CLIPScore（PR-MCS），该指标对此类扰动具有鲁棒性，是一种适用于多种语言的无参考图像字幕评测新指标。为实现扰动鲁棒性，我们采用与语言无关的方法对 CLIP 的文本编码器进行微调，以区分扰动文本与原始文本。为验证 PR-MCS 的鲁棒性，我们引入了一个由 3000 张图像的细粒度评测数据集，涵盖五种语言的详细描述字幕、关键对象以及对象间关系。在实验中，PR-MCS 在所有五种语言中捕捉各类扰动类型的词法噪声方面均显著优于基线指标，证明 PR-MCS 对词法扰动具有高度鲁棒性。
引用
@article{arxiv.2303.08389,
title = {PR-MCS: Perturbation Robust Metric for MultiLingual Image Captioning},
author = {Yongil Kim and Yerin Hwang and Hyeongu Yun and Seunghyun Yoon and Trung Bui and Kyomin Jung},
journal= {arXiv preprint arXiv:2303.08389},
year = {2023}
}