迈向稳定循环神经网络的变分自适应噪声与 Dropout
机器学习
2026-02-25 v1 机器人学
摘要
本文提出了一种用于循环神经网络（RNN）的新颖稳定学习理论，即所谓的变分自适应噪声与 dropout（VAND）。作为 RNN 的稳定因素，RNN 内部状态上的噪声和 dropout 在先前的研究中已被分别证实。我们将 RNN 的优化问题重新解释为变分推断，表明通过将优化问题中出现的显式正则化项转化为隐式正则化，可以同时导出噪声和 dropout。它们的尺度和比例也可以被适当调整，以分别优化 RNN 的主要目标。在带有移动机械臂的模仿学习场景中，只有 VAND 能够按指令模仿序列和周期性行为。https://youtu.be/UOho3Xr6A2w
引用
@article{arxiv.2506.01350,
title = {Variational Adaptive Noise and Dropout towards Stable Recurrent Neural Networks},
author = {Taisuke Kobayashi and Shingo Murata},
journal= {arXiv preprint arXiv:2506.01350},
year = {2026}
}
备注
6 pages, 6 figures (accepted in ICDL2025)