Hopfield 神经网络的流：一种几何视角
最优化与控制
2019-11-15 v2 机器学习
神经与进化计算
摘要
我们为连续时间连续状态的 Hopfield 神经网络（HNN）提供了梯度流解释。与 HNN 相关的常微分方程和随机微分方程在文献中作为模拟优化器被引入，并据报道在数值实验中表现出良好的性能。在这项工作中，我们指出确定性 HNN 可以被改写为 Amari 的自然梯度下降，从而揭示出底层黎曼度量与激活函数之间的显式关系。通过利用自然梯度下降与镜像下降之间的等价性，我们展示了激活函数的选择如何支配 HNN 动力学的几何结构。对于随机 HNN，我们表明所谓的“扩散机”本身虽不是梯度流，但在概率测度空间中提升时会诱导出一个梯度流。我们将这一无限维流刻画为关于依赖于底流形上测地距离的 Wasserstein 度量的某种自由能的梯度下降。此外，我们展示了这一梯度流解释如何借助最近发展的近端算法用于快速计算。
引用
@article{arxiv.1908.01270,
title = {Hopfield Neural Network Flow: A Geometric Viewpoint},
author = {Abhishek Halder and Kenneth F. Caluya and Bertrand Travacca and Scott J. Moura},
journal= {arXiv preprint arXiv:1908.01270},
year = {2019}
}