SVTime:受大型视觉模型预测器“物理”启发的小型时间序列预测模型
机器学习
2025-11-03 v2 人工智能
摘要
时间序列人工智能对于分析动态网络内容至关重要,催生了一大批以强大的知识编码与跨任务迁移能力著称的预训练大模型。然而,鉴于其训练、推理与硬件方面的高能耗,将大模型作为万能解决方案引发了人们对碳足迹与可持续性的严重担忧。对于特定任务而言,一个紧凑而专精的高性能模型可能更为实用且经济,尤其对于资源受限的用户(如小型企业)而言。这促使我们思考:能否在核心任务(如预测)上构建具有大模型级性能且成本低廉的轻量模型?本文通过引入 SVTime 来回答这一问题。SVTime 是一种受大型视觉模型(LVM)预测器启发、用于长期时间序列预测(LTSF)的新型小型模型。最近,LVM 已被证明是 LTSF 的有力工具。我们识别出 LVM 预测器的一组关键归纳偏置——类似于支配其在 LTSF 中行为的"物理"——并通过精心设计的线性层与约束函数将这些偏置编码进小型模型。在涵盖 8 个基准数据集上的 21 个基线(涵盖轻量、复杂与预训练大模型)中,SVTime 优于当前最优(SOTA)的轻量模型,并以比 LVM 少 个参数的规模比肩大模型,同时能够在低资源环境下实现高效的训练与推理。
引用
@article{arxiv.2510.09780,
title = {SVTime: Small Time Series Forecasting Models Informed by "Physics" of Large Vision Model Forecasters},
author = {ChengAo Shen and Ziming Zhao and Hanghang Tong and Dongjin Song and Dongsheng Luo and Qingsong Wen and Jingchao Ni},
journal= {arXiv preprint arXiv:2510.09780},
year = {2025}
}