基于周期性低秩 Hessian sketching 的曲率自适应优化方法
机器学习
2025-11-18 v1
摘要
一阶优化器虽然可靠，但在锐利、各向异性区域时速度较慢。我们研究了一种曲率自适应的方法，通过 Hessian-向量乘积定期对 Hessian 子空间进行低秩 sketching，并仅在该子空间内对梯度进行 preconditioning，其余方向保持一阶。对于 L-smooth 非凸目标，我们恢复了标准的 O(1/T) 稳定性保证，并扩宽了稳定步长范围；在满足 PL 条件且 sketch 区域外残余曲率有界的情况下，损失在刷新步骤时收敛。在 CIFAR-10/100 上的 ResNet-18/34 实验中，该方法进入低损失区域明显更快：以到达预设训练损失阈值（0.75）所需的 epoch 数为指标，在 CIFAR-100/ResNet-18 上，速度比 Adam 快 2.95 倍，而最终测试准确率相当。该方法只需一个旋钮：性能对 sketch 秩 k 在 {1,3,5} 范围内不敏感，k=0 结果为一种原导数曲率自由的 ablation。我们发布了匿名日志和脚本，用于再生成所有图表和表格。
引用
@article{arxiv.2511.12548,
title = {CAO: Curvature-Adaptive Optimization via Periodic Low-Rank Hessian Sketching},
author = {Wenzhang Du},
journal= {arXiv preprint arXiv:2511.12548},
year = {2025}
}
备注
13 pages, 7 figures, 3 tables; anonymized logs and scripts reproduce all figures and tables