温度平衡、逐层权重分析与神经网络训练
机器学习
2023-12-04 v1 机器学习
摘要
现代机器学习中的正则化至关重要，它在算法设计中可表现为多种形式：训练集、模型族、误差函数、正则化项以及优化方法。特别是学习率——可解释为学习统计力学中类温度参数——在神经网络训练中起关键作用。事实上，许多被广泛采用的训练策略基本上只是定义了学习率随时间的衰减。该过程可解释为降低温度，使用全局学习率（针对整个模型）或随每个参数变化的学习率。本文提出 TempBalance，一种简单而有效的逐层学习率方法。TempBalance 基于重尾自正则化（HT-SR）理论，该理论刻画了训练模型中不同层的隐式自正则化。我们展示了使用 HT-SR 启发的度量来指导模型训练中所有网络层的温度调度与平衡的有效性，从而在测试时获得改进的性能。我们在 CIFAR10、CIFAR100、SVHN 和 TinyImageNet 数据集上使用不同深度和宽度的 ResNets、VGGs 和 WideResNets 实现了 TempBalance。我们的结果表明 TempBalance 显著优于普通 SGD 和精心调谐的谱范数正则化。我们还表明 TempBalance 优于若干最先进的优化器和学习率调度器。
引用
@article{arxiv.2312.00359,
title = {Temperature Balancing, Layer-wise Weight Analysis, and Neural Network Training},
author = {Yefan Zhou and Tianyu Pang and Keqin Liu and Charles H. Martin and Michael W. Mahoney and Yaoqing Yang},
journal= {arXiv preprint arXiv:2312.00359},
year = {2023}
}
备注
NeurIPS 2023 Spotlight, first two authors contributed equally