重复对比学习增强Mamba在时间序列预测中的选择性
机器学习
2026-01-21 v2 人工智能
摘要
长序列预测是时间序列预测中的关键挑战。虽然Mamba基模型由于其序列选择能力显示出强大的性能，但仍在对关键时间步骤的关注不足以及噪声抑制不完整方面受到制约，这源于其选择性能力的不足。为此，我们引入重复对比学习（RCL），一种旨在增强Mamba选择性能力的token级对比预训练框架。RCL预训练单个Mamba模块以强化其选择性能力，然后将这些预训练的参数用于初始化various backbone模型中的Mamba模块，以提高其时间序列预测性能。RCL使用高斯噪声进行序列增强，并应用序列间和序列内对比学习，帮助Mamba模块优先关注信息丰富的时间步骤，同时忽略噪声。大量实验表明，RCL一致地提高了backbone模型的性能，超越了现有方法，实现了最先进的成果。此外，我们提出了两种度量标准来量化Mamba的选择性能力，为RCL带来的改进提供了理论、定性和定量证据。
引用
@article{arxiv.2504.09185,
title = {Repetitive Contrastive Learning Enhances Mamba's Selectivity in Time Series Prediction},
author = {Wenbo Yan and Hanzhong Cao and Ying Tan},
journal= {arXiv preprint arXiv:2504.09185},
year = {2026}
}