对数几率衰减权重归一化
机器学习
2021-08-13 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
使用基于梯度的优化器训练的超参数化深度网络是解决分类与排序问题的热门选择。若无适当调整的 正则化或权重衰减,此类网络往往使输出分数(对数几率)和网络权重变大,导致训练损失过小、网络丧失在参数空间中的自适应能力(移动能力)。尽管正则化通常从过拟合角度理解,我们强调其在增强网络适应性并使网络更易逃离泛化差的权重方面的作用。为提供此种能力,我们提出一种称为对数几率衰减权重归一化(LAWN)的方法,可叠加于任意基于梯度的优化器之上。LAWN 通过约束最终同质子网络中各层的权重范数来控制对数几率。经验上,我们表明所得优化器的 LAWN 变体使深度网络更具适应性,能在大规模图像分类和推荐系统中找到具有更优泛化性能的最小值。虽然 LAWN 在改进 Adam 时尤为出色,但当使用大批量尺寸时,它极大地改进了所有优化器。
引用
@article{arxiv.2108.05839,
title = {Logit Attenuating Weight Normalization},
author = {Aman Gupta and Rohan Ramanath and Jun Shi and Anika Ramachandran and Sirou Zhou and Mingzhou Zhou and S. Sathiya Keerthi},
journal= {arXiv preprint arXiv:2108.05839},
year = {2021}
}
备注
23 pages