中文

VisionTS:视觉掩码自编码器是“免费午餐”式的零样本时间序列预测器

计算机视觉与模式识别 2025-06-09 v4 人工智能 机器学习

摘要

基础模型已成为时间序列预测(TSF)中一种有前景的方法。现有方法要么重新利用大型语言模型(LLM),要么构建大规模时间序列数据集,以开发用于通用预测的 TSF 基础模型。然而,由于严重的跨领域差距或领域内异构性,这些方法面临挑战。本文探索了一条从丰富、高质量的自然图像中构建 TSF 基础模型的新路径。我们的关键洞察是,在 ImageNet 数据集上预训练的视觉掩码自编码器可以自然地成为数值序列预测器。通过将 TSF 重新表述为图像重建任务,我们弥合了图像预训练与 TSF 下游任务之间的差距。令人惊讶的是,无需在时间序列领域进行进一步适应,所提出的 VisionTS 就能实现比现有 TSF 基础模型更好的零样本预测性能。通过微调一个 epoch,VisionTS 可以进一步提高预测能力,并在大多数情况下实现最先进的性能。大量实验揭示了图像与真实世界时间序列之间的内在相似性,表明视觉模型可能为 TSF 提供“免费午餐”,并突出了未来跨模态研究的潜力。我们的代码已在 https://github.com/Keytoyze/VisionTS 上公开。

关键词

引用

@article{arxiv.2408.17253,
  title  = {VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters},
  author = {Mouxiang Chen and Lefei Shen and Zhuo Li and Xiaoyun Joy Wang and Jianling Sun and Chenghao Liu},
  journal= {arXiv preprint arXiv:2408.17253},
  year   = {2025}
}

备注

v4: accepted by ICML 2025