OccamVTS：将视觉模型蒸馏至 1% 参数以进行时间序列预测
机器学习
2025-11-17 v2 计算机视觉与模式识别
摘要
时间序列预测是多种应用的基本任务，近期方法利用大型视觉模型（LVMs）通过视觉表示捕获时序模式。我们揭示了尽管视觉模型提升了预测性能，但 99% 的参数对时间序列任务是不必要的。通过跨模态分析，我们发现时间序列与低级纹理特征对齐，但与高级语义特征不匹配，这可能会损害预测准确性。我们提出了 OccamVTS，一个知识蒸馏框架，从 LVMs 中提取仅含 1% 预测信息的轻量级网络。以预训练 LVMs 为特权教师，OccamVTS 采用金字塔式特征对齐结合相关性和特征蒸馏，将有益模式传递给轻型网络，同时过滤无关语义噪声。尽管进行激进的参数压缩，OccamVTS 仍通过消除对无关视觉特征的过拟合，保留关键时序模式，从而提升准确性。广泛实验表明，OccamVTS 在多个基准数据集上始终实现了以最少 1% 参数取得的拔得头筹性能，尤其在零样本和少样本情景中表现突出。
引用
@article{arxiv.2508.01727,
title = {OccamVTS: Distilling Vision Models to 1% Parameters for Time Series Forecasting},
author = {Sisuo Lyu and Siru Zhong and Weilin Ruan and Qingxiang Liu and Qingsong Wen and Hui Xiong and Yuxuan Liang},
journal= {arXiv preprint arXiv:2508.01727},
year = {2025}
}