论非线性权重更新的益处
机器学习
2022-07-27 v1
摘要
近期研究表明，深度神经网络（DNN）的泛化性能与每个节点处信噪比（SNR）被优化的程度有关。相比之下，梯度下降方法并不总能导致 SNR 最优的权重配置。改善 SNR 性能的一种方式是抑制大的权重更新并放大小的权重更新。这种平衡在一些常见优化器中已是隐式的，但我们提出了一种使其显式化的方法。该方法在对 DNN 参数进行更新之前，对梯度施加一个非线性函数。我们研究了此类非线性方法的性能。结果是对现有优化器的一种改进，可提升多种问题类型的性能。
引用
@article{arxiv.2207.12505,
title = {On the benefits of non-linear weight updates},
author = {Paul Norridge},
journal= {arXiv preprint arXiv:2207.12505},
year = {2022}
}
备注
23 pages, 35 figures