超越标签噪声的审视：偏移的标签分布在远程监督关系抽取中至关重要
计算与语言
2019-09-11 v2 机器学习
摘要
近年来，将远程监督（DS）应用于自动生成关系抽取（RE）训练数据的兴趣激增。在本文中，我们研究限制 DS 训练的神经模型性能的问题，进行透彻分析，并识别出能极大影响性能的一个因素：偏移的标签分布。具体而言，我们发现该问题普遍存在于真实世界 DS 数据集中，且若无特殊处理，典型的 DS-RE 模型无法自动适应此偏移，从而导致性能退化。为进一步验证我们的直觉，我们为 DS 训练的模型开发了一种简单而有效的自适应方法——偏置调整，其利用在目标域（即测试集）上估计的标签分布来更新在源域（即 DS 训练集）上学习到的模型。实验表明，偏置调整在 DS 训练的模型上取得了一致的性能提升，尤其在神经模型上，相对 F1 提升高达 23%，这验证了我们的假设。我们的代码与数据可在 \url{https://github.com/INK-USC/shifted-label-distribution} 找到。
引用
@article{arxiv.1904.09331,
title = {Looking Beyond Label Noise: Shifted Label Distribution Matters in Distantly Supervised Relation Extraction},
author = {Qinyuan Ye and Liyuan Liu and Maosen Zhang and Xiang Ren},
journal= {arXiv preprint arXiv:1904.09331},
year = {2019}
}
备注
13 pages: 10 pages paper, 3 pages appendix. Appears at EMNLP 2019