PARADE：一个需要计算机科学领域知识的释义识别新数据集
计算与语言
2020-10-09 v1
摘要
我们提出一个名为 PARADE 的释义识别新基准数据集，其需要专门的领域知识。PARADE 包含词汇和句法层面重叠极少但基于计算机科学领域知识语义等价的释义，以及词汇和句法层面重叠极大但基于该领域知识语义不等价的非释义。实验表明，最先进的神经模型和非专家人类标注者在 PARADE 上表现均不佳。例如，微调后的 BERT 取得的 F1 分数为 0.709，远低于其在其他释义识别数据集上的表现。PARADE 可作为对测试融合领域知识的模型感兴趣的研究者的资源。我们免费公开数据和代码。
引用
@article{arxiv.2010.03725,
title = {PARADE: A New Dataset for Paraphrase Identification Requiring Computer Science Domain Knowledge},
author = {Yun He and Zhuoer Wang and Yin Zhang and Ruihong Huang and James Caverlee},
journal= {arXiv preprint arXiv:2010.03725},
year = {2020}
}
备注
Accepted by EMNLP 2020 as a regular long paper