FlowAdam：通过几何感知软动量注入实现隐式正则化
机器学习
2026-04-09 v1
摘要
自适应动量方法如 Adam 采用基于梯度平方指数移动平均的对角坐标级预条件器。这种对角缩放依赖坐标系，对于稠密或旋转参数耦合（包括矩阵分解、张量分解和图神经网络中的情况）常常难以处理，因为它会独立地对每个参数进行处理。我们引入 FlowAdam，这是一种混合优化器，通过常微分方程（ODE）对梯度进行连续积分来增强 Adam。当 EMA 统计检测到优化景观的困难时，FlowAdam 会切换到裁剪 ODE 积分。我们的核心贡献是软动量注入（Soft Momentum Injection），它在模式转换期间将 ODE 速度与 Adam 的动量进行混合。这防止了 Naive 混合方法训练崩溃的现象。在耦合优化基准测试中，ODE 积分提供了隐式正则化，使低秩矩阵/张量恢复的验证误差降低 10-22%，在 Jester（真实世界的协同过滤）上降低 6%，同时超过调优的 Lion 和 AdaBelief，同时在良好条件负载下（CIFAR-10）与 Adam 持平。MovieLens-100K 的结果表明，这些收益确实来源于参数间的耦合互作用，而非偏置估计。消融研究表明，软注入是必不可少的，硬替换会使准确率从 100% 降至 82.5%。
引用
@article{arxiv.2604.06652,
title = {FlowAdam: Implicit Regularization via Geometry-Aware Soft Momentum Injection},
author = {Devender Singh and Tarun Sheel},
journal= {arXiv preprint arXiv:2604.06652},
year = {2026}
}
备注
Accepted at IJCNN 2026 (IEEE WCCI). 8 pages, 4 figures