训练后反馈网络全局稳定性的几何分析
神经元与认知
2019-01-21 v2
摘要
递归神经网络因能够执行复杂计算，在神经科学与机器学习领域被广泛研究。尽管近年来在设计有效学习算法方面取得了实质性进展，但对训练后递归网络的完整理解仍然欠缺。具体而言，使计算从底层递归动力学中涌现的机制在很大程度上未知。本文关注一个简单却未被充分探索的计算设定：一个被训练用于将平稳输出关联到平稳输入的反馈架构。作为起点，我们推导了训练网络全局动力学的近似解析描述，该描述假设反馈与随机主体中的连接权重不相关。所得平均场理论表明，该任务存在若干类解，其对应不同的稳定性性质。不同类别通过读出相对于输入向量在高维网络群体空间中的几何排布来刻画。我们发现，这种近似理论方法可用于理解标准训练技术如何在有限规模反馈网络中实现输入输出任务。特别地，我们的简化描述捕捉了目标解的局部与全局稳定性性质，从而预测训练性能。
引用
@article{arxiv.1809.02386,
title = {A geometrical analysis of global stability in trained feedback networks},
author = {Francesca Mastrogiuseppe and Srdjan Ostojic},
journal= {arXiv preprint arXiv:1809.02386},
year = {2019}
}