多层神经网络在线算法的功能优化
无序系统与神经网络
2009-10-30 v1
摘要
我们在学生-教师场景中研究了全连接软委员会机器的在线学习动力学。通过变分论证，以获得最大化每个样本平均泛化误差衰减的方式，得到了决定学习算法的局部最优调制函数。针对少数情况给出了所得算法的模拟结果。与使用在线反向传播算法时相比，对称相位平台期被大幅缩短。文中还讨论了将这些思想实现为实用算法的方案。
引用
@article{arxiv.cond-mat/9706015,
title = {Functional Optimisation of Online Algorithms in Multilayer Neural Networks},
author = {Renato Vicente and Nestor Caticha},
journal= {arXiv preprint arXiv:cond-mat/9706015},
year = {2009}
}