Recommend-Revise 是否产生可靠标注？DocRED 中缺失实例的分析
计算与语言
2022-04-19 v1
摘要
DocRED 是一个广泛用于文档级关系抽取的数据集。在大规模标注中，采用了 recommend-revise 方案以减轻工作量。在该方案下，标注者获得来自远程监督的候选关系实例，随后基于推荐手动补充与删除关系事实。然而，当将 DocRED 与从头重新标注的子集比较时，我们发现该方案导致相当数量的假阴性样本以及明显偏向于热门实体与关系的偏差。此外，我们观察到在 DocRED 上训练的模型在我们重新标注的数据集上召回率较低，并继承了训练数据中相同的偏差。通过对标注者行为的分析，我们找出了上述问题的根本原因：该方案实际上阻碍了标注者在修订阶段补充充足实例。我们呼吁未来研究在设计新模型与标注方案时考虑 recommend-revise 方案的问题。重新标注的数据集发布于 \url{https://github.com/AndrewZhe/Revisit-DocRED}，以作为文档关系抽取模型更可靠的测试集。
引用
@article{arxiv.2204.07980,
title = {Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED},
author = {Quzhe Huang and Shibo Hao and Yuan Ye and Shengqi Zhu and Yansong Feng and Dongyan Zhao},
journal= {arXiv preprint arXiv:2204.07980},
year = {2022}
}
备注
ACL 2022 Main Conference