状态去噪循环神经网络
神经与进化计算
2018-05-29 v2
摘要
循环神经网络（RNNs）难以在序列处理任务上训练，不仅因为输入噪声可能通过反馈被放大，还因为任何权重的不精确都具有类似于输入噪声的后果。我们描述了一种在训练期间对隐藏状态去噪的方法，以获得更鲁棒的表示，从而改善泛化性能。吸引子动力学被引入隐藏状态中，以在序列的每一步“清理”表示。吸引子动力学通过一个辅助去噪损失进行训练，以从那些状态的噪声版本中恢复先前经历的隐藏状态。这种状态去噪循环神经网络（SDRNN）对每个外部序列步执行多步内部处理。在一系列任务上，我们表明SDRNN优于通用RNN以及一种具有隐藏状态吸引子动力学但无辅助损失的SDRNN变体。我们认为，吸引子动力学——及相应的连接约束——是深度学习武器库的基本组成部分，不仅应被用于循环网络，也应被用于改进深度前馈网络与任务间迁移。
引用
@article{arxiv.1805.08394,
title = {State-Denoised Recurrent Neural Networks},
author = {Michael C. Mozer and Denis Kazakov and Robert V. Lindsey},
journal= {arXiv preprint arXiv:1805.08394},
year = {2018}
}