面向弱监督鲁棒学习的元自精炼方法
计算与语言
2023-05-02 v2
摘要
在弱监督下训练深度神经网络（DNNs）因能显著降低标注成本而受到越来越多的研究关注。然而，弱监督得到的标签可能含有噪声，而 DNNs 的高容量使其容易过拟合标签噪声，导致泛化性能差。近期方法利用自训练构建抗噪声模型，其中在弱监督下训练的教师模型被用于提供高置信度标签以教导学生模型。尽管如此，此类框架产生的教师模型可能已拟合大量噪声，从而以高置信度产生错误的伪标签，引发严重的误差传播。本工作中，我们提出元自精炼（MSR），一种抗噪声学习框架，以有效对抗弱监督中的标签噪声。不同于依赖用噪声标签训练的固定教师，我们鼓励教师精炼其伪标签。在每步训练中，MSR 在当前小批量上执行元梯度下降，以最大化学生在干净验证集上的表现。在八个 NLP 基准上的大量实验表明，MSR 在所有设定下均对标签噪声具有鲁棒性，并在准确率上最高超越 SOTA 方法 11.4%、在 F1 分数上超越 9.26%。
引用
@article{arxiv.2205.07290,
title = {Meta Self-Refinement for Robust Learning with Weak Supervision},
author = {Dawei Zhu and Xiaoyu Shen and Michael A. Hedderich and Dietrich Klakow},
journal= {arXiv preprint arXiv:2205.07290},
year = {2023}
}
备注
EACL 2023 (long paper)