人工神经网络学习过程的拓扑结构
机器学习
2020-10-28 v4 机器学习
摘要
理解神经网络如何学习仍是机器学习研究中的核心挑战之一。神经网络的权重在训练开始时是随机的，随后演化到能够执行诸如图像分类等多种任务。本文运用拓扑数据分析的方法来研究权重中结构的涌现。我们在 MNIST 数据集上训练简单的前馈神经网络，并监测权重的演化。当初始化为零时，权重沿反复分叉的轨迹演化，从而生成描述每一层有效容量增长的树。当初始化为极小的随机值时，权重沿二维曲面平滑演化。我们证明这些学习曲面上的自然坐标对应于重要的变化因子。
引用
@article{arxiv.1902.08160,
title = {Topology of Learning in Artificial Neural Networks},
author = {Maxime Gabella},
journal= {arXiv preprint arXiv:1902.08160},
year = {2020}
}
备注
8 pages, 8 figures