一种高阶神经单元的稳定梯度下降自适应方法
神经与进化计算
2016-06-24 v1 人工智能
计算工程、金融与科学
机器学习
系统与控制
摘要
本文介绍了对具有多项式神经输入聚合（亦称多项式神经网络类）的高阶神经单元（HONU）权重更新系统进行稳定性评估，以通过梯度下降方法自适应前馈与循环 HONU。该方法的核心基础是权重更新系统的谱半径，允许在每一个自适应步骤中单独进行稳定性监测与维持。确保权重更新系统的稳定性（在每一个自适应步骤中）自然地使得自适应目标数据的整个神经架构实现自适应稳定性。此外，所用方法突出了 HONU 权重优化是一个线性问题这一事实，因此所提出的方法可以推广至任何在其可调参数上呈线性的神经架构。
引用
@article{arxiv.1606.07149,
title = {An Approach to Stable Gradient Descent Adaptation of Higher-Order Neural Units},
author = {Ivo Bukovsky and Noriyasu Homma},
journal= {arXiv preprint arXiv:1606.07149},
year = {2016}
}
备注
2016, 13 pages