惊异驱动的 zoneout
机器学习
2016-12-15 v6 人工智能
神经与进化计算
摘要
我们提出了一种用于循环神经网络的新型正则化方法，称为 suprisal-driven zoneout。在该方法中，当 suprisal（上一状态预测与目标之间的偏差）较小时，状态执行 zoneout（保持先前值而非更新）。因此正则化是自适应且基于输入的逐神经元行为。我们通过在 Hutter Prize Wikipedia 数据集上达到每字符 1.31 比特的最先进性能，显著缩小了与已知最佳高度工程化压缩方法之间的差距，证明了该方法的有效性。
引用
@article{arxiv.1610.07675,
title = {Surprisal-Driven Zoneout},
author = {Kamil Rocki and Tomasz Kornuta and Tegan Maharaj},
journal= {arXiv preprint arXiv:1610.07675},
year = {2016}
}
备注
Published at the Continual Learning and Deep Networks Workshop; NIPS 2016