基于原则的 AMR 相似度度量
计算与语言
2020-09-18 v2 人工智能
摘要
已有多种度量被提出用于比较抽象语义表示(Abstract Meaning Representation, AMR)图。经典的 Smatch 度量(Cai and Knight, 2013)对齐两个图的变量并评估三元组匹配。近期的 SemBleu 度量(Song and Gildea, 2019)基于机器翻译度量 Bleu(Papineni et al., 2002),并通过去除变量对齐提高了计算效率。在本文中,i)我们建立了使研究者能够对比较 AMR 等意义表示的度量进行原则性评估的准则;ii)我们对 Smatch 和 SemBleu 进行了深入分析,指出后者存在一些不良性质。例如,它不符合不可分辨者同一性规则,并引入了难以控制的偏差;iii)我们提出了一种新颖的度量 Smatch,它对仅非常微小的意义偏差更为宽容,并以满足所有已建立准则为目标。我们评估了其适用性并展示了相对于 Smatch 和 SemBleu 的优势。
引用
@article{arxiv.2001.10929,
title = {AMR Similarity Metrics from Principles},
author = {Juri Opitz and Letitia Parcalabescu and Anette Frank},
journal= {arXiv preprint arXiv:2001.10929},
year = {2020}
}
备注
TACL 2020 https://doi.org/10.1162/tacl_a_00329