生成对抗训练可改进神经语言模型
计算与语言
2022-11-18 v1 机器学习
摘要
尽管以循环神经网络（RNNs）形式的深度学习已使神经语言建模取得显著改进，但它们极易过拟合这一事实仍主要是一个未解决的问题。在本文中，我们提出一种基于生成对抗网络（GANs）和对抗训练（AT）的正则化方法，可防止神经语言模型中的过拟合。不同于快速梯度符号法（FGSM）等需要第二次随时间反向传播、因而所需时间至少为基础训练两倍的常见对抗训练方法，我们方法的开销不超过基线训练时间的20%。
引用
@article{arxiv.2211.09728,
title = {Generative Adversarial Training Can Improve Neural Language Models},
author = {Sajad Movahedi and Azadeh Shakery},
journal= {arXiv preprint arXiv:2211.09728},
year = {2022}
}
备注
An extended abstract selected for poster presentation at the Eastern European Machine Learning Summer School 2019