灵敏度——用于控制神经网络全局混沌性或梯度的局部指标——
神经与进化计算
2021-07-20 v2 机器学习
摘要
在此，我们为神经网络（NN）中每个神经元引入一个名为“灵敏度”的完全局部指标，以全局控制混沌性或梯度。我们还提出了一种名为“灵敏度调整学习（SAL）”的调整方法。该指标是其输出相对于输入的梯度幅值。通过将其时间平均值在每个神经元中调整为 1.0，该神经元的信息传输在前向与反向计算中均变为适度，既不收缩也不扩张。这导致在权重和输入随机时，信息通过神经元层的传输也是适度的。因此，SAL 能够控制循环神经网络（RNN）中网络动力学的混沌性。它还能解决深度前馈神经网络或 RNN 中误差反向传播（BP）学习的梯度消失问题。我们证明，当将 SAL 应用于具有小而随机初始权重的 RNN 时，对数灵敏度（即所有神经元 RMS（均方根）灵敏度的对数）在达到 0.0 之前等价于最大 Lyapunov 指数。我们还表明，SAL 可与 BP 或 BPTT（随时间反向传播）配合，在 300 层神经网络或学习首输入与输出间存在 300 步滞后的问题的 RNN 中避免梯度消失问题。与在学习前手动微调权重矩阵谱半径相比，SAL 的连续非线性学习特性防止了学习过程中灵敏度的损失，从而显著提升了学习性能。
引用
@article{arxiv.2012.13134,
title = {Sensitivity - Local Index to Control Chaoticity or Gradient Globally -},
author = {Katsunari Shibata and Takuya Ejima and Yuki Tokumaru and Toshitaka Matsuki},
journal= {arXiv preprint arXiv:2012.13134},
year = {2021}
}
备注
26 pages, 20 figures