R-Tuning：基于小波分解的回放与语义对齐，用于预训练时间序列模型的持续适应
机器学习
2025-11-18 v1
摘要
预训练模型在时间序列预测中展现出卓越的泛化能力，但将其适应于演变数据分布仍是重大挑战。关键难点在于获取原始训练数据，仅凭新数据微调常导致灾难性遗忘。为此，我们提出Replay Tuning(R-Tuning)，一种用于预训练时间序列模型持续适应的新型框架。R-Tuning构建统一的潜在空间，通过频率感知回放策略捕获先前和当前任务知识。具体做法是通过小波分解在多个频率带上增强模型生成样本，生成保留趋势、增强融合的变体，以提高表示多样性和回放效率。为进一步减少对合成样本的依赖，R-Tuning引入潜在一致性约束，将新表示与先前任务空间对齐。该约束引导在紧凑且语义连贯的潜在空间中进行联合优化，确保知识保留和适应的鲁健性。大量实验结果表明，R-Tuning在新任务上将MAE和MSE分别降低最高可达46.9%和46.8%，同时在旧任务上保持知识， gains最高可达5.7%和6.0%。在few-shot设置下，R-Tuning即使合成代理样本仅占新任务数据集的5%，也优于所有最先进的基线方法。
引用
@article{arxiv.2511.11685,
title = {R-Tuning: Wavelet-Decomposed Replay and Semantic Alignment for Continual Adaptation of Pretrained Time-Series Models},
author = {Tianyi Yin and Jingwei Wang and Chenze Wang and Han Wang and Jiexuan Cai and Min Liu and Yunlong Ma and Kun Gao and Yuting Song and Weiming Shen},
journal= {arXiv preprint arXiv:2511.11685},
year = {2025}
}