用于循环神经网络的对抗式 Dropout
机器学习
2019-04-23 v1 机器学习
摘要
成功处理文本与语音等序列数据的应用，需要循环神经网络（RNNs）具有更好的泛化性能。为响应这些需求，人们引入了针对 RNNs 的 dropout 技术，但我们推测，通过采用对抗式概念，RNNs 上的 dropout 本可得到改进。本文探究了利用有意生成的 dropout 掩码来改进 RNNs 的 dropout 的方法。具体而言，本研究中使用的引导式 dropout 被称为对抗式 dropout，它对抗性地断开那些随时间主导用于预测正确目标的神经元。我们的分析表明，我们的正则化项（由原始 RNN 与重配置 RNN 之间的差距构成）是随机 dropout 的训练阶段与推理阶段之间差距的上界。我们证明，最小化我们的正则化项提升了 dropout 在 RNNs 上于序列 MNIST 任务、半监督文本分类任务以及语言建模任务中的有效性。
引用
@article{arxiv.1904.09816,
title = {Adversarial Dropout for Recurrent Neural Networks},
author = {Sungrae Park and Kyungwoo Song and Mingi Ji and Wonsung Lee and Il-Chul Moon},
journal= {arXiv preprint arXiv:1904.09816},
year = {2019}
}
备注
published in AAAI19