少即是多：通过结构化剪枝释放时间序列基础模型的专用化能力
机器学习
2025-12-23 v3 人工智能
摘要
缩放定律推动了时间序列基础模型（TSFM）的发展，这些模型预训练了大量参数并取得了出色的零样本预测性能。令人惊讶的是，即使在微调之后，TSFM 也无法持续超越在全样本下游数据上训练的更小的专用模型。一个关键问题是如何实现 TSFM 对目标预测任务的有效适配。通过对各种 TSFM 的实证研究，预训练模型在计算上通常表现出固有的稀疏性和冗余性，这表明 TSFM 已经学会了激活与任务相关的网络子结构以适应多样的预测任务。为了保留这一有价值的先验知识，我们提出了一种结构化剪枝方法，通过将后续微调过程聚焦于更相关且更紧凑的参数空间来对其进行正则化。在 7 个 TSFM 和 6 个基准上的大量实验表明，与微调原始模型相比，微调更小的、剪枝后的 TSFM 显著提升了预测性能。这种先剪枝后微调的范式通常能使 TSFM 达到最先进的性能，并超越强大的专用基线。源代码已公开于 https://github.com/SJTU-DMTai/Prune-then-Finetune。
引用
@article{arxiv.2505.23195,
title = {Less is More: Unlocking Specialization of Time Series Foundation Models via Structured Pruning},
author = {Lifan Zhao and Yanyan Shen and Zhaoyang Liu and Xue Wang and Jiaji Deng},
journal= {arXiv preprint arXiv:2505.23195},
year = {2025}
}
备注
Accepted by NeurIPS 2025