中文

具备多尺度趋势分解和分块Mixture of Experts编码的自适应归一化Mamba

机器学习 2025-12-09 v1 人工智能

摘要

现实环境下的时间序列预测面临显著挑战,包括非平稳性、多尺度时序模式及分布性偏移,这些因素会降低模型的稳定性和准确性。本文提出AdaMamba,一种统一的预测架构,集成自适应归一化、多尺度趋势提取与情境序列建模,以应对上述挑战。AdaMamba包含一个自适应归一化模块,通过多尺度卷积趋势提取和通道级重校准,去除非平稳分量,实现一致的去趋势化和方差稳定。经归一化处理的序列随后由情境编码器处理,融合分块嵌入、位置编码以及以Mamba增强的Transformer层为核心的专家混合前馈模块,有效建模长程依赖与局部时序动态。轻量级预测头生成多步预测,去均一化机制通过重新融合局部趋势恢复输出,确保在不同时序条件下的鲁棒性。AdaMamba具备强大的表征能力和模块化可扩展性,支持确定性预测并与概率扩展兼容。其设计有效缓解了协变量漂移,提升了跨异构数据集的预测可靠性。实验评估表明,AdaMamba在自适应归一化与专家增强情境建模的组合下,相较于基于Transformer的基线模型,在稳定性和准确性方面实现持续性提升。

关键词

引用

@article{arxiv.2512.06929,
  title  = {Adaptive Normalization Mamba with Multi Scale Trend Decomposition and Patch MoE Encoding},
  author = {MinCheol Jeon},
  journal= {arXiv preprint arXiv:2512.06929},
  year   = {2025}
}