输出尺度变化训练神经网络时自适应学习率的 unintended 效应
机器学习
2021-07-05 v2 机器学习
摘要
常对模型输出施加乘法常数缩放因子以调整神经网络参数的动态特性。这已被用作关于懒惰与主动行为实证研究中的关键干预手段之一。然而，我们表明，这种缩放与常用的自适应学习率优化器的组合会强烈影响神经网络的训练行为。这是有问题的，因为它可能导致神经网络的“unintended 行为”，从而造成实验结果的误读。具体而言，对于某些缩放设置，自适应学习率的效果消失或受到缩放因子的强烈影响。为避免该 unintended 效应，我们提出了一种优化算法的改进，并展示了自适应学习率优化与简单梯度下降之间的显著差异，尤其是在小（<1.0）缩放因子下。
引用
@article{arxiv.2103.03466,
title = {Unintended Effects on Adaptive Learning Rate for Training Neural Network with Output Scale Change},
author = {Ryuichi Kanoh and Mahito Sugiyama},
journal= {arXiv preprint arXiv:2103.03466},
year = {2021}
}