LCA：用于神经网络训练的损失变化分配
机器学习
2020-03-04 v2 机器学习
摘要
神经网络应用广泛，但其训练、表示与运行的许多方面仍知之甚少。特别是，我们对训练过程的观测有限，单一标量损失是窥视这一高维动态过程最常见的视窗。我们提出一种称为损失变化分配（LCA）的训练新视窗，其中对网络损失变化的归因被保守地划分至各参数。该测量通过沿训练轨迹使用Runge-Kutta积分器分解近似路径积分的各分量实现。这一丰富视图展示了哪些参数负责在训练中降低或增加损失，即哪些参数分别“帮助”或“损害”网络学习。LCA可累加于训练迭代和/或神经元、通道或层上以获得渐粗的视图。这一新测量装置产生了若干训练洞见。（1）我们发现任意给定迭代中仅略多于50%的参数起帮助作用。（2）某些完整层整体有害，平均沿训练梯度反向移动，我们假设此现象可能源于振荡训练过程中的相位滞后。（3）最后，学习的增量以跨层同步方式推进，常在同一迭代上达到峰值。
引用
@article{arxiv.1909.01440,
title = {LCA: Loss Change Allocation for Neural Network Training},
author = {Janice Lan and Rosanne Liu and Hattie Zhou and Jason Yosinski},
journal= {arXiv preprint arXiv:1909.01440},
year = {2020}
}
备注
NeurIPS 2019 camera ready version