AMR 解析远未解决：GrAPES——细粒度 AMR 解析评估套件
计算与语言
2023-12-07 v1
摘要
我们提出了细粒度 AMR 解析评估套件（GrAPES），这是一个针对抽象意义表示（AMR）解析的挑战集，并附带评估指标。当前的 AMR 解析器在标准 AMR 评估指标 Smatch 上获得了高分，接近甚至超过了报告的标注者间一致性。但这并不意味着 AMR 解析已经解决；事实上，先前工作中的人工评估表明，当前的解析器仍然相当频繁地在节点标签或图结构上出现错误，从而实质性地扭曲了句子含义。在此，我们提供了一个评估套件，从具有实际、技术和语言学兴趣的一系列现象上对 AMR 解析器进行测试。我们的 36 个类别涵盖从已见和未见标签，到结构泛化，再到共指。GrAPES 深入揭示了当前 AMR 解析器的能力与不足。
引用
@article{arxiv.2312.03480,
title = {AMR Parsing is Far from Solved: GrAPES, the Granular AMR Parsing Evaluation Suite},
author = {Jonas Groschwitz and Shay B. Cohen and Lucia Donatelli and Meaghan Fowlie},
journal= {arXiv preprint arXiv:2312.03480},
year = {2023}
}
备注
Accepted at EMNLP 2023. For the associated GitHub repository, see https://github.com/jgroschwitz/GrAPES