用于半监督文本分类的对抗训练方法
机器学习
2021-11-17 v4 机器学习
摘要
对抗训练提供了一种正则化监督学习算法的手段，而虚拟对抗训练则能将监督学习算法扩展到半监督设定中。然而，这两种方法都需要对输入向量的众多条目进行微小扰动，这对于稀疏的高维输入（如独热词表示）并不适用。我们将对抗训练和虚拟对抗训练扩展到文本领域，方法是将扰动应用于循环神经网络中的词嵌入，而非原始输入本身。所提出的方法在多个基准半监督和纯监督任务上取得了最先进的结果。我们提供的可视化和分析表明，学习到的词嵌入质量有所提升，并且在训练过程中，模型更不易过拟合。代码可在 https://github.com/tensorflow/models/tree/master/research/adversarial_text 获取。
引用
@article{arxiv.1605.07725,
title = {Adversarial Training Methods for Semi-Supervised Text Classification},
author = {Takeru Miyato and Andrew M. Dai and Ian Goodfellow},
journal= {arXiv preprint arXiv:1605.07725},
year = {2021}
}
备注
Published as a conference paper at ICLR 2017