方向一致性作为互补优化信号：GONO 框架
机器学习
2026-05-08 v1 人工智能
摘要
我们识别并形式化了深度学习优化中一个尚未充分探索的现象：方向对齐与损失收敛可以解耦。优化器可以表现出近乎完美的方向一致性（cc_t -> 1，通过连续梯度余弦相似度测量），而损失仍然很高或下降缓慢。这一观察表明，Adam、SGD 和 RMSprop 等现有优化器缺乏利用梯度方向时间一致性的显式机制，而是依赖于基于幅值的信号，无法区分平台期、鞍点和真正的收敛。受此启发，我们提出了 GONO（Gradient-Oriented Norm-Adaptive Optimizer），它根据 cc_t 调整 Adam 的动量系数 beta_1：在方向一致时放大动量，在振荡时抑制动量。我们证明了 GONO 匹配 Adam 的 O(1/sqrt(T)) 收敛速率，并且在信号无信息时精确退化为 Adam。实验表明，cc_t 实现了 F1=1.00 的振荡检测（相比之下梯度范数为 0.45），并且 GONO 在 MNIST (98.15%)、CIFAR-10 (43.14%) 和 ResNet-18 (75.44%) 上与 AdamW 保持竞争力，确立了方向对齐作为一种理论上合理、实际可行的优化信号。代码：https://github.com/victordaniel/gono-optimizer
引用
@article{arxiv.2605.06575,
title = {Directional Consistency as a Complementary Optimization Signal: The GONO Framework},
author = {Victor Daniel Gera},
journal= {arXiv preprint arXiv:2605.06575},
year = {2026}
}