基于统计物理技术的 ReLU 神经网络在线学习动力学
机器学习
2019-03-19 v1 无序系统与神经网络
机器学习
摘要
我们利用借自统计物理的技术，以微分方程组的形式引入具有 ReLU 单元的双层神经网络的精确宏观在线学习动力学。在首批实验中，数值解显示出与早期工作中研究的 sigmoid 激活函数相似的行为。在这些实验中，理论结果与模拟良好吻合。在过实现与不可实现的学习场景下，ReLU 网络的学习行为相比 sigmoid 网络表现出独特特征。
引用
@article{arxiv.1903.07378,
title = {On-line learning dynamics of ReLU neural networks using statistical physics techniques},
author = {Michiel Straat and Michael Biehl},
journal= {arXiv preprint arXiv:1903.07378},
year = {2019}
}
备注
Accepted contribution: ESANN 2019, 6 pages European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning 2019