学术文档中的文档级定义检测：现有模型、错误分析与未来方向
计算与语言
2020-10-13 v1
摘要
定义检测任务对学术论文十分重要，因为论文常使用读者可能不熟悉的术语。尽管已有定义检测的相关工作，现有方法远未达到可在真实应用中使用的精度。在本文中，我们首先对当前性能最佳的定义检测系统进行了深入的错误分析，并发现了错误的主要成因。基于该分析，我们开发了利用句法特征、transformer 编码器与启发式过滤器的新定义检测系统 HEDDEx，并在标准句子级基准上对其评估。由于当前基准评估随机抽样的句子，我们提出了一种替代评估方法，对文档内每个句子进行评判，从而除准确率外也能评估召回率。HEDDEx 在句子级与文档级任务上分别以 12.7 F1 分和 14.4 F1 分优于领先系统。我们注意到，由于必须将文档结构作为特征纳入，高召回文档级任务上的性能远低于标准评估方式。我们讨论了文档级定义检测的剩余挑战、改进思路，以及阅读辅助应用开发的潜在问题。
引用
@article{arxiv.2010.05129,
title = {Document-Level Definition Detection in Scholarly Documents: Existing Models, Error Analyses, and Future Directions},
author = {Dongyeop Kang and Andrew Head and Risham Sidhu and Kyle Lo and Daniel S. Weld and Marti A. Hearst},
journal= {arXiv preprint arXiv:2010.05129},
year = {2020}
}
备注
Workshop on Scholarly Document Processing (SDP), EMNLP 2020