面向编码器型时间序列基础模型的多尺度微调
机器学习
2025-10-13 v2
摘要
时间序列基础模型在时间序列预测中展现出令人印象深刻的零样本性能。然而，一个重要但尚未充分探索的挑战是如何在特定的下游任务上有效地微调TSFM。虽然简单的微调可以带来性能提升，但我们认为它未能充分利用TSFM的能力，常常导致过拟合和次优性能。鉴于跨采样尺度的多样化时间模式以及TSFM固有的多尺度预测能力，我们采用因果视角来分析微调过程，通过该视角我们强调了显式建模多个尺度的关键重要性，并揭示了简单方法的缺点。我们专注于基于编码器的TSFM，提出了多尺度微调（MSFT），这是一个简单而通用的框架，将多尺度建模显式地整合到微调过程中。在三个不同的骨干网络（Moirai、Moment和Units）上的实验结果表明，使用MSFT微调的TSFM不仅优于简单的和典型的参数高效微调方法，而且超越了最先进的深度学习方法。代码可在https://github.com/zqiao11/MSFT获取。
引用
@article{arxiv.2506.14087,
title = {Multi-Scale Finetuning for Encoder-based Time Series Foundation Models},
author = {Zhongzheng Qiao and Chenghao Liu and Yiming Zhang and Ming Jin and Quang Pham and Qingsong Wen and P. N. Suganthan and Xudong Jiang and Savitha Ramasamy},
journal= {arXiv preprint arXiv:2506.14087},
year = {2025}
}
备注
Accepted by NeurIPS 2025