ZENITH: 基于梯度范数信息的自动化随机优化
机器学习
2026-01-22 v1 计算机视觉与模式识别
摘要
训练深度计算机视觉模型需要手动监督或对学习率调度进行超参数调整。虽然现有的自适应优化器会自动调度学习率，但它们存在计算和内存开销、与正则化不兼容以及学习率选择次优等问题。在这项工作中，我们引入了ZENITH(Zero-overhead Evolution using Norm-Informed Training History)优化器，它利用梯度范数的时间演化来调整学习率。涵盖6种CNN架构和6个基准测试的图像分类实验表明，ZENITH在更短的挂钟时间内实现了比基线更高的测试准确率。在使用R-CNN系列模型的MS COCO数据集上，它在目标检测、关键点检测和实例分割任务中也取得了更优的mAP。此外，它与正则化的兼容性使其能够实现更好的泛化性能。
引用
@article{arxiv.2601.15212,
title = {ZENITH: Automated Gradient Norm Informed Stochastic Optimization},
author = {Dhrubo Saha},
journal= {arXiv preprint arXiv:2601.15212},
year = {2026}
}