一种用于深度神经网络文本分类的有效标签噪声模型
机器学习
2019-03-19 v1 计算与语言
信息检索
机器学习
摘要
由于大规模人工标注数据集存在标注错误，能够在标签噪声存在的情况下训练深度神经网络至关重要。虽然带标签噪声的图像分类模型训练已受到广泛关注，但文本分类模型的训练尚未如此。在本文中，我们提出一种对标签噪声鲁棒的深度网络训练方法。该方法引入一个非线性处理层（噪声模型），将标签噪声的统计特性建模进卷积神经网络（CNN）架构中。噪声模型与CNN权重从含噪训练数据中联合学习，从而防止模型对错误标签过拟合。通过在多个文本分类数据集上的大量实验，我们表明该方法使CNN能够学习更好的句子表示，并且即便在极端标签噪声下也具鲁棒性。我们发现该噪声模型的恰当初始化与正则化至关重要。此外，与针对图像分类中缓解标签噪声而关注大批量尺寸的结果相反，我们发现改变批量大小对分类性能并无太大影响。
引用
@article{arxiv.1903.07507,
title = {An Effective Label Noise Model for DNN Text Classification},
author = {Ishan Jindal and Daniel Pressel and Brian Lester and Matthew Nokleby},
journal= {arXiv preprint arXiv:1903.07507},
year = {2019}
}
备注
Accepted at NAACL-HLT 2019 Main Conference Long paper