面向跨语言图像描述的无标注评估
计算机视觉与模式识别
2020-12-10 v1 多媒体
摘要
跨语言图像描述能够以非英语的目标语言为未标注图像生成描述，是多媒体领域的一个新兴课题。为了节省为目标语言逐条重写参考句子的宝贵人力资源，本文对跨语言图像描述的无标注评估进行了大胆尝试。根据是否假设有英语参考可用，研究了两种场景。对于参考可用的第一种场景，我们提出了两个指标，即WMDRel和CLinRel。WMDRel利用词移距离（Word Mover's Distance）衡量模型生成描述与英语参考机器翻译之间的语义相关性。通过将两种描述投影到深度视觉特征空间，CLinRel是一种面向视觉的跨语言相关性度量。至于第二种零参考因而更具挑战性的场景，我们提出CMedRel，在CLinRel所使用的同一视觉特征空间中计算生成描述与图像内容之间的跨媒体相关性。有前景的结果表明，新指标在无需目标语言参考的情况下用于评估具有很高潜力。
引用
@article{arxiv.2012.04925,
title = {Towards Annotation-Free Evaluation of Cross-Lingual Image Captioning},
author = {Aozhu Chen and Xinyi Huang and Hailan Lin and Xirong Li},
journal= {arXiv preprint arXiv:2012.04925},
year = {2020}
}