一种用于增强泛化性的自适应稳定激活方法
机器学习
2025-06-11 v1 计算机视觉与模式识别
摘要
我们提出 AdaAct，这是一种根据激活方差调整学习率的新型优化算法。我们的方法通过在训练过程中融入基于神经元的自适应性，来增强神经元输出的稳定性，从而实现更好的泛化——这是一种补充常规激活正则化方法的策略。实验结果表明，AdaAct 在标准图像分类基准测试上表现出竞争力。我们在 CIFAR 和 ImageNet 上对 AdaAct 进行评估，并与其他最先进的方法进行比较。重要的是，AdaAct 在保持竞争执行时间的同时，有效地弥合了 Adam 的收敛速度与 SGD 的强大泛化能力之间的差距。代码可在 https://github.com/hseung88/adaact 获取。
引用
@article{arxiv.2506.08353,
title = {An Adaptive Method Stabilizing Activations for Enhanced Generalization},
author = {Hyunseok Seung and Jaewoo Lee and Hyunsuk Ko},
journal= {arXiv preprint arXiv:2506.08353},
year = {2025}
}