Lipschitz 循环神经网络
机器学习
2021-04-27 v3 动力系统
机器学习
摘要
将循环神经网络视为连续时间动力系统，我们提出了一种循环单元，该单元通过两部分描述隐藏状态的演化：一个易于理解的线性分量加上一个 Lipschitz 非线性。这种特定的函数形式有助于利用非线性系统理论的工具对循环单元的长期行为进行稳定性分析。进而，这使得在实验之前进行架构设计决策成为可能。我们获得了该循环单元全局稳定性的充分条件，这启发了一种构建隐藏到隐藏矩阵的新方案。我们的实验表明，Lipschitz RNN 在一系列基准任务上优于现有的循环单元，包括计算机视觉、语言建模和语音预测任务。最后，通过基于 Hessian 矩阵的分析，我们证明了与其他连续时间 RNN 相比，我们的 Lipschitz 循环单元对输入和参数扰动具有更强的鲁棒性。
引用
@article{arxiv.2006.12070,
title = {Lipschitz Recurrent Neural Networks},
author = {N. Benjamin Erichson and Omri Azencot and Alejandro Queiruga and Liam Hodgkinson and Michael W. Mahoney},
journal= {arXiv preprint arXiv:2006.12070},
year = {2021}
}
备注
Published as a conference paper at ICLR 2021