JaSPICE：基于谓词-论元结构的图像描述模型自动评价指标
计算机视觉与模式识别
2023-11-08 v1 计算与语言
摘要
图像描述研究严重依赖BLEU和METEOR等自动评价指标。然而，此类基于n-gram的指标已被证明与人类评价相关性较差，从而催生了如SPICE等面向英语的替代指标；但其他语言尚未建立等效指标。因此，在本研究中，我们提出了一种称为JaSPICE的自动评价指标，其基于场景图评价日语描述。所提方法从依存关系和谓词-论元结构生成场景图，并利用同义词扩展该图。我们采用在STAIR Captions和PFN-PIC上训练的10个图像描述模型进行实验，并构建了包含103,170条人类评价的Shichimi数据集。结果表明，我们的指标在与人类评价相关系数的表现上优于基线指标。
引用
@article{arxiv.2311.04192,
title = {JaSPICE: Automatic Evaluation Metric Using Predicate-Argument Structures for Image Captioning Models},
author = {Yuiga Wada and Kanta Kaneda and Komei Sugiura},
journal= {arXiv preprint arXiv:2311.04192},
year = {2023}
}
备注
Accepted at CoNLL 2023. Project page: https://yuiga.dev/jaspice/en