CaAdam: 利用连接感知方法改进Adam优化器
机器学习
2024-11-01 v1
摘要
我们提出了一种受 Adam 启发的新方法，可增强收敛速度并实现更好的损失函数极小值。传统优化器，包括 Adam，在神经网络上应用统一或全局调整的学习率，而不考虑其架构特性。这种架构无关的方法深深嵌入大多数深度学习框架中，优化器作为独立模块实现，无法直接访问网络的结构信息。例如，在 Keras 或 PyTorch 等流行框架中，优化器仅基于梯度和参数运行，而不了解层连接或网络拓扑。我们的算法 CaAdam 通过引入精心设计的架构信息代理来探索这一被忽视的领域，实现了连接感知优化。我们提出了多种缩放方法，根据易于获取的结构属性（如层深度、连接数和梯度分布）动态调整学习率。这种方法在当前深度学习框架的限制内实现了更细粒度的优化。在标准数据集（如 CIFAR-10、Fashion MNIST）上的经验评估表明，我们的方法始终比标准 Adam 优化器实现更快的收敛和更高的准确率，证明了将架构感知纳入优化策略的潜在益处。
引用
@article{arxiv.2410.24216,
title = {CaAdam: Improving Adam optimizer using connection aware methods},
author = {Remi Genet and Hugo Inzirillo},
journal= {arXiv preprint arXiv:2410.24216},
year = {2024}
}