预测标注难度以改进生物医学信息抽取中的任务路由与模型性能
计算与语言
2019-05-21 v1
摘要
现代 NLP 系统需要高质量的标注数据。在专门领域中，专家标注可能昂贵得令人望而却步。一种替代方案是依赖众包以降低成本，但面临引入噪声的风险。在本文中，我们证明直接对实例难度建模可用于提升模型性能，并将实例路由给合适的标注者。我们的难度预测模型结合了两种学习到的表示：一个在域外数据上训练的“通用”编码器，以及一个任务特定的编码器。在使用专家和普通标注者完成的复杂生物医学信息抽取任务上的实验表明：(i) 简单地从训练数据中排除被预测为困难的实例会带来微小的性能提升；(ii) 在训练期间使用难度分数对实例加权提供了进一步、一致的增益；(iii) 将预测为困难的实例分配给领域专家是一种有效的任务路由策略。我们的实验证实了预期，即对于专门任务，专家标注的质量高于众包标签，因此若可行则更优。此外，用较大规模的普通标注集增补少量的专家数据可带来模型性能的进一步提升。
引用
@article{arxiv.1905.07791,
title = {Predicting Annotation Difficulty to Improve Task Routing and Model Performance for Biomedical Information Extraction},
author = {Yinfei Yang and Oshin Agarwal and Chris Tar and Byron C. Wallace and Ani Nenkova},
journal= {arXiv preprint arXiv:1905.07791},
year = {2019}
}
备注
NAACL2019