从共识到分歧：面向半监督关系抽取的多教师蒸馏
计算与语言
2021-12-03 v1
摘要
标注数据的缺乏是关系抽取中的主要障碍。半监督关系抽取（SSRE）已被证明是通过将未标注样本标注为额外训练数据来解决该问题的一种有前景的途径。几乎所有该方向的先前研究都采用多个模型，取这些模型预测结果的交集以使标注更可靠。然而，包含未标注数据丰富信息的差集却被以往研究长期忽视。本文中，我们提出在 SSRE 中不仅从模型间的共识学习，也从分歧中学习。为此，我们开发了一个简单且通用的多教师蒸馏（MTD）框架，可轻松集成到任何现有 SSRE 方法中。具体而言，我们首先令教师对应多个模型，并选取 SSRE 方法上一次迭代中交集内的样本以常规方式扩充标注数据。然后将差集内样本的类分布作为软标签迁移以指导学生。最后使用训练好的学生模型进行预测。在两个公开数据集上的实验结果表明，我们的框架以极低的计算成本显著提升了基础 SSRE 方法的性能。
引用
@article{arxiv.2112.01048,
title = {From Consensus to Disagreement: Multi-Teacher Distillation for Semi-Supervised Relation Extraction},
author = {Wanli Li and Tieyun Qian},
journal= {arXiv preprint arXiv:2112.01048},
year = {2021}
}