关于两个神经网络间的距离与学习的稳定性
机器学习
2021-01-11 v3 数值分析
神经与进化计算
数值分析
机器学习
摘要
本文将参数距离与非线性组合函数的梯度崩溃联系起来。该分析引出了一种称为深度相对信任（deep relative trust）的新距离函数以及针对神经网络的下降引理。由于所得学习规则似乎很少或不需要学习率调优，它可能解锁训练更深更复杂神经网络的更简工作流。本文使用的 Python 代码见：https://github.com/jxbz/fromage。
引用
@article{arxiv.2002.03432,
title = {On the distance between two neural networks and the stability of learning},
author = {Jeremy Bernstein and Arash Vahdat and Yisong Yue and Ming-Yu Liu},
journal= {arXiv preprint arXiv:2002.03432},
year = {2021}
}