重新思考Adam优化器用于时间序列预测：一种改进分布漂移下的优化的简单启发式方法
机器学习
2026-03-12 v1 机器学习
摘要
时间序列预测常面临非平稳性挑战，尤其是分布漂移问题，即数据分布随时间演化。这种动态行为会削弱自适应优化器（如Adam）的效果，这些优化器通常针对平稳目标进行设计。本文在非平稳预测背景下重新审视Adam，指出其二阶偏差校正限制了对变化损失景观的响应能力。为此，我们提出TS_Adam，一种轻量级变体，移除了学习率计算中的二阶校正。这一简单修改提高了对分布漂移的适应性，同时保留了优化器的核心结构，且无需额外调参。TS_Adam易于集成到现有模型中，在长期和短期预测任务中均能稳定提升性能。在ETT数据集上使用MICN模型，相较于Adam实现了平均12.8%的MSE降低和5.7%的MAE降低。这些结果凸显了TS_Adam作为面向非平稳数据实用且通用的有效优化策略。代码已公开：https://github.com/DD-459-1/TS_Adam。
引用
@article{arxiv.2603.10095,
title = {Rethinking Adam for Time Series Forecasting: A Simple Heuristic to Improve Optimization under Distribution Shifts},
author = {Yuze Dong and Jinsong Wu},
journal= {arXiv preprint arXiv:2603.10095},
year = {2026}
}