训练响应定律解释深度神经网络如何学习
无序系统与神经网络
2022-04-18 v1 机器学习
摘要
深度神经网络是这十年来广泛应用的技术。尽管应用丰硕，其背后的机制仍有待阐明。我们以一个非常简单的监督学习编码问题研究学习过程。结果，我们在训练响应中发现了一个描述神经正切核的简单定律。该响应由一个类幂律衰减乘以一个简单的响应核构成。我们可用该定律构建一个简单的平均场动力学模型，解释网络如何学习。在学习中，输入空间沿核之间的竞争被划分为子空间。随着迭代划分与老化，网络获得更高复杂度，但最终丧失其可塑性。
引用
@article{arxiv.2204.07291,
title = {The training response law explains how deep neural networks learn},
author = {Kenichi Nakazato},
journal= {arXiv preprint arXiv:2204.07291},
year = {2022}
}