通过 ThermoLion 实现深度视觉网络优化的符号与幅度统一
机器学习
2025-12-03 v2 人工智能
摘要
深度视觉模型的训练本质上是应对高维随机噪声中的信号恢复问题。当前优化范例对信息信道容量施加了静态权衡。例如，基于幅度的方法，如 AdamW，假设梯度范数是高保真曲率信号。虽然这在光滑区域允许精确，但在陡峭、非凸景观中导致恶性噪声放大。相反，基于符号的方法（如 Lion）对梯度进行根本性的 1 位量化，旨在提供稳健的正则化，代价是丢弃细粒度的下降信息。我们提出，最佳收敛需要的不是静态先决条件，而是对更新比特率的动态调制。我们引入 ThermoLion，一种面向视觉的框架，利用局部信噪比 (SNR) 门控机制，自动在“低位”探索阶段和“高精度”开发阶段之间转换参数。此外，我们引入动量对齐机制，以检测历史漂移与瞬时梯度之间的相互构造性干扰，以加速稳定轨迹期间的收敛。跨 12 个多样化视觉数据集（包括 CIFAR、SVHN 和 GTSRB）的实证基准测试表明，ThermoLion 在收敛速度和最终准确率方面均优于 AdamW 和 Lion 等最先进优化器。
引用
@article{arxiv.2512.01881,
title = {Unifying Sign and Magnitude for Optimizing Deep Vision Networks via ThermoLion},
author = {Ahmed Nebli},
journal= {arXiv preprint arXiv:2512.01881},
year = {2025}
}