重新审视文档级关系抽取：一项现实检验
计算与语言
2023-06-16 v1
摘要
近年来，大量研究持续推高文档级关系抽取（DocRE）的性能边界，并声称在 DocRE 上取得了显著进展。本文并不旨在提出一种用于 DocRE 的新模型。相反，我们仔细审视该领域，以考察这些性能提升是否真实。通过对相关文献的全面回顾以及对流行 DocRE 数据集的彻底检查，我们发现这些性能提升都建立在一个强烈甚至难以成立的共同假设之上：所有命名实体都已事先被完美定位、规范化并标注类型。接下来，我们构建了四类实体提及攻击，通过行为探测来检验典型 DocRE 模型的鲁棒性。我们还对更真实设定下的模型可用性进行了仔细核查。我们的发现揭示，当前大多数 DocRE 模型易受实体提及攻击，且难以部署到真实世界的终端用户 NLP 应用中。我们的研究呼吁未来研究更多关注，停止简化问题设定，并在真实杂乱的环境中而非不切实际的乌托邦世界里对 DocRE 建模。
引用
@article{arxiv.2306.08953,
title = {Rethinking Document-Level Relation Extraction: A Reality Check},
author = {Jing Li and Yequan Wang and Shuai Zhang and Min Zhang},
journal= {arXiv preprint arXiv:2306.08953},
year = {2023}
}
备注
Findings of ACL 2023