NLP方法人工评估中的大错位问题
计算与语言
2021-04-13 v1
摘要
我们概述自然语言处理研究中的大错位问题，这简单地意味着问题定义与所提出的方法不一致，且人工评估与定义及方法均不一致。我们通过调查ACL 2020中发表的10篇随机抽样的、报告了人工评估结果的论文来研究这一错位问题。我们的结果表明，仅有一篇论文在问题定义、方法与评估三方面完全一致。仅两篇论文呈现出与方法中建模内容一致的人工评估。这些结果凸显大错位问题是一个主要问题，并影响了由人工评估所获得结果的有效性与可复现性。
引用
@article{arxiv.2104.05361,
title = {The Great Misalignment Problem in Human Evaluation of NLP Methods},
author = {Mika Hämäläinen and Khalid Alnajjar},
journal= {arXiv preprint arXiv:2104.05361},
year = {2021}
}
备注
Workshop on Human Evaluation of NLP Systems at EACL 2021