随机初始化抢不走后手：语言模型迁移在时间序列预测中的优势
计算与语言
2025-06-30 v1 人工智能
机器学习
摘要
近期研究表明，针对低数据场景下将预训练语言模型（LM）用于时间序列预测具有显著效用。我们在此基础上，通过分析包括上游后训练、时间序列分词器和语言骨干网络规模等多种设计选择，对语言模型向时间序列预测的有效迁移进行了系统评估。在低数据 regime 下，这些设计选择对验证损失影响显著，存在若干明确优于其他选项的方案。与 Hernandez 等人（2021）的观察不同，我们发现 LM 的验证损失在随机初始化模型损失收敛后仍持续平滑下降，形成跨设计选择均存在的非消失迁移差距。这些发现不仅有助于阐明面向时间序列的高效计算训练方法，也为探索这些模型所利用的数据分布的模态无关性质提供了新的思路。
引用
@article{arxiv.2506.21570,
title = {Random Initialization Can't Catch Up: The Advantage of Language Model Transfer for Time Series Forecasting},
author = {Roland Riachi and Kashif Rasul and Arjun Ashok and Prateek Humane and Alexis Roger and Andrew R. Williams and Yuriy Nevmyvaka and Irina Rish},
journal= {arXiv preprint arXiv:2506.21570},
year = {2025}
}