基于上下文的虚拟对抗训练用于带噪声标签的文本分类

深度神经网络（DNNs）具有高容量，在给定充足训练时间时可完全记住噪声标签，而不幸的是，其记忆会导致性能下降。近来，虚拟对抗训练（VAT）受到关注，因为它可以进一步提高DNNs在半监督学习中的泛化能力。VAT背后的驱动力是通过强制输入与扰动输入之间的一致性来防止模型过拟合数据点。如果该方法能防止神经模型学习噪声样本同时鼓励模型泛化干净样本，则该策略有助于从噪声标签中学习。在本文中，我们提出基于上下文的虚拟对抗训练（ConVAT）以防止文本分类器过拟合噪声标签。与以往工作不同，所提方法在上下文层面而非输入层面执行对抗训练。它使分类器不仅学习其标签，还学习其上下文邻居，从而通过保留每个数据点上的上下文语义来缓解从噪声标签中学习。我们在四个文本分类数据集上以两类标签噪声进行了广泛实验。综合实验结果清楚地表明，所提方法即使在极度噪声设置下也表现良好。