以协作对抗训练增强远程监督关系抽取
计算与语言
2021-06-22 v1
摘要
随着远程监督(DS)关系抽取(RE)的近期进展,利用多实例学习(MIL)从含噪 DS 中提炼高质量监督受到相当关注。在此,我们超越标签噪声,指出 DS-MIL 的关键瓶颈在于其低数据利用率:随着高质量监督被 MIL 精炼,MIL 舍弃了大量训练实例,导致数据利用率低,并阻碍模型训练获得充足监督。本文提出协作对抗训练以提升数据利用率,其在不同层级协调虚拟对抗训练(VAT)与对抗训练(AT)。具体而言,由于 VAT 无需标签,我们采用实例级 VAT 回收被 MIL 舍弃的实例。此外,我们在包级部署 AT 以释放 MIL 所得高质量监督的全部潜力。我们所提方法相较先前最优方法带来一致提升(~5 个绝对 AUC 分数),验证了数据利用率问题的重要性及本方法的有效性。
引用
@article{arxiv.2106.10835,
title = {Empower Distantly Supervised Relation Extraction with Collaborative Adversarial Training},
author = {Tao Chen and Haochen Shi and Liyuan Liu and Siliang Tang and Jian Shao and Zhigang Chen and Yueting Zhuang},
journal= {arXiv preprint arXiv:2106.10835},
year = {2021}
}
备注
Accepted by AAAI 2021