AdaCubic：一种适用于深度学习的自适应三次正则化优化器
机器学习
2026-04-13 v1
摘要
提出一种新的正则化技术，即 AdaCubic，通过动态调整三次项的权重来实现自适应。AdaCubic 的核心是一个带有三次约束的辅助优化问题，动态调整牛顿三次正则化方法中三次项的权重。我们使用 Hutchinson 方法近似 Hessian 矩阵，从而降低计算成本。我们展示了 AdaCubic 继承了三次正则化牛顿法的局部收敛保证。我们在计算机视觉、自然语言处理和信号处理任务中进行实验，表明 AdaCubic 在多个广泛使用的优化器中表现出色。与其他需要微调超参数的自适应算法不同，AdaCubic 使用固定的一组超参数进行评估，使其成为在难以进行微调的setting下极具吸引力的优化器。这使得 AdaCubic 对于研究人员和实践者都是极具吸引力的选择。据我们了解，AdaCubic 是首个在可扩展深度学习应用中利用三次正则化的优化器。
关键词
引用
@article{arxiv.2604.09437,
title = {AdaCubic: An Adaptive Cubic Regularization Optimizer for Deep Learning},
author = {Ioannis Tsingalis and Constantine Kotropoulos and Corentin Briat},
journal= {arXiv preprint arXiv:2604.09437},
year = {2026}
}