PriMeSRL-Eval：一种用于语义角色标注系统评估的实用质量度量
计算与语言
2022-10-13 v1 人工智能
摘要
语义角色标注（SRL）识别句子中的谓词-论元结构。该任务通常分四步完成：谓词识别、谓词词义消歧、论元识别和论元分类。在某一步引入的错误会传播到后续步骤。遗憾的是，现有的 SRL 评估脚本未考虑这种错误传播方面的完整影响。它们要么在忽略谓词词义的情况下评估论元（CoNLL09），要么根本不评估谓词词义（CoNLL05），从而在论元分类任务上得出不准确的 SRL 模型性能。在本文中，我们解决了现有评估脚本的关键实际问题，并提出了一种更严格的 SRL 评估度量 PriMeSRL。我们观察到，采用 PriMeSRL 后，所有 SOTA SRL 模型的质量评估显著下降，且其相对排名也发生变化。我们还表明 PriMeSRL 能成功惩罚 SOTA SRL 模型中的实际失败。
引用
@article{arxiv.2210.06408,
title = {PriMeSRL-Eval: A Practical Quality Metric for Semantic Role Labeling Systems Evaluation},
author = {Ishan Jindal and Alexandre Rademaker and Khoi-Nguyen Tran and Huaiyu Zhu and Hiroshi Kanayama and Marina Danilevsky and Yunyao Li},
journal= {arXiv preprint arXiv:2210.06408},
year = {2022}
}