体积化作为权重衰减的一种自然推广
机器学习
2020-04-02 v2 机器学习
摘要
我们提出了一种用于神经网络的正则化新方法，称为体积化（volumization）。受物理学启发，我们为神经网络中的权重参数定义了一个物理体积，并表明该方法是正则化神经网络的一种有效方式。直观上，该方法在 与 正则化之间进行插值。因此，权重衰减与权重裁剪成为所提算法的特例。我们在一个玩具示例上证明，该方法的本质是一种用于控制偏差-方差权衡的正则化技术。该方法在标准权重衰减方法表现良好的各类场景中均表现良好，包括改善网络的泛化能力以及防止过拟合记忆。此外，我们表明体积化可能导向一种训练二值或三值权重神经网络的简单方法。
引用
@article{arxiv.2003.11243,
title = {Volumization as a Natural Generalization of Weight Decay},
author = {Liu Ziyin and Zihao Wang and Makoto Yamada and Masahito Ueda},
journal= {arXiv preprint arXiv:2003.11243},
year = {2020}
}
备注
18 pages, 20 figures