具有自适应教师学习与细粒度学生集成的远监督命名实体识别
计算与语言
2022-12-14 v1
摘要
远监督命名实体识别（DS-NER）通过自动生成训练样本有效缓解了 NER 中的数据稀缺问题。遗憾的是，远监督可能引入噪声标签，从而削弱所学模型的鲁棒性并限制实际应用。为缓解该问题，近期工作采用自训练师生框架逐步精炼训练标签并提升 NER 模型的泛化能力。然而，我们认为当前 DS-NER 自训练框架的性能因其朴素设计（包括不充分的学生学习和粗粒度的教师更新）而被严重低估。因此，本文首次尝试通过提出以下方法缓解这些问题：（1）自适应教师学习，由双师生网络联合训练并考虑两教师间一致与不一致的预测，从而促进全面的学生学习。（2）细粒度学生集成，用学生对应片段的时间滑动平均更新教师模型的每个片段，从而增强各模型片段对噪声的一致预测。为验证所提方法的有效性，我们在四个 DS-NER 数据集上进行了实验。实验结果表明，我们的方法显著超越了以往的 SOTA 方法。
引用
@article{arxiv.2212.06522,
title = {Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble},
author = {Xiaoye Qu and Jun Zeng and Daizong Liu and Zhefeng Wang and Baoxing Huai and Pan Zhou},
journal= {arXiv preprint arXiv:2212.06522},
year = {2022}
}
备注
Accepted at AAAI 2023