主动测试：一种用于远程监督关系抽取的无偏评估方法
计算与语言
2020-10-20 v1 信息检索
摘要
远程监督因其自动标注数据集的便利性，已成为神经关系抽取中广泛使用的方法。然而，现有远程监督关系抽取工作受限于测试集质量低下，导致性能评估存在显著偏差。这些偏差不仅造成不公平的评估，还会误导神经关系抽取的优化。为缓解该问题，我们提出一种名为主动测试的新评估方法，利用含噪测试集与少量人工标注。在广泛使用的基准上的实验表明，我们所提方法能为远程监督关系抽取器提供近似无偏的评估。
引用
@article{arxiv.2010.08777,
title = {Active Testing: An Unbiased Evaluation Method for Distantly Supervised Relation Extraction},
author = {Pengshuai Li and Xinsong Zhang and Weijia Jia and Wei Zhao},
journal= {arXiv preprint arXiv:2010.08777},
year = {2020}
}
备注
accepted to appear at Findings of EMNLP 2020