权重范数控制
机器学习
2023-11-22 v2
摘要
我们注意到解耦权重衰减正则化是权重范数控制的一个特例,其中权重的目標范数被设为0。任何使用解耦权重衰减正则化(相应地,AdamW)的优化方法(例如Adam)都可视为具有权重范数控制(相应地,AdamWN)的更一般算法的特例。我们认为将权重的目標范数设为0可能是次优的,也可考虑其他目標范数值。例如,任何由AdamW达到特定权重范数的训练过程,都可由调度为达到可比权重范数的AdamWN来挑战。我们讨论了引入权重范数控制替代权重衰减的各种启示。
引用
@article{arxiv.2311.11446,
title = {Weight Norm Control},
author = {Ilya Loshchilov},
journal= {arXiv preprint arXiv:2311.11446},
year = {2023}
}