学习对远程标注数据进行去噪以用于实体类型标注

远程标注数据可用于扩大统计模型的训练规模，但其通常含有噪声，且噪声会随远程标注技术而变化。在本工作中，我们提出一种处理此类数据的两阶段流程：先用学习到的模型去噪，然后在干净与去噪后的远程数据上以标准监督训练方式训练我们的最终模型。我们的去噪方法由两部分组成。首先，一个过滤函数丢弃远程标注数据中完全不可用的样本。其次，一个重标注函数为保留下来的样本修复有噪声的标签。这些组件中的每一个都是在由一小部分人工标注集合生成的合成加噪样本上训练的模型。我们在 Choi 等人（2018）的超细粒度实体类型标注任务上研究该方法。我们的基线模型是他们在预训练 ELMo 表示上的模型的扩展，其已经达到了最先进的性能。加入经我们学习到的模型去噪后的远程数据，相比该基础模型带来进一步的性能提升，优于在原始远程数据或启发式去噪远程数据上训练的模型。