微型时间混合器（TTMs）：用于增强多元时间序列零/少样本预测的快速预训练模型
摘要
大型预训练模型在语言和视觉任务的零/少样本学习中表现出色，但由于数据特征的多样性，在多元时间序列（TS）预测中面临挑战。因此，近期的研究工作集中在开发预训练的 TS 预测模型上。这些模型，无论是从头构建还是从大型语言模型（LLM）改编而来，在零/少样本预测任务中均表现优异。然而，它们受到性能缓慢、计算需求高以及忽视跨通道和外生相关性的限制。为了解决这些问题，我们引入了微型时间混合器（TTM），这是一个紧凑模型（起始参数量为 1M），具有有效的迁移学习能力，仅在公开 TS 数据集上训练。TTM 基于轻量级的 TSMixer 架构，融合了自适应分块、多样化分辨率采样和分辨率前缀调优等创新，以最小的模型容量处理不同分辨率数据集的预训练。此外，它采用多级建模来捕获通道相关性，并在微调期间注入外生信号。TTM 在零/少样本预测中优于现有流行基准（4-40%），同时显著降低了计算需求。此外，TTM 轻量级，甚至可以在仅 CPU 的机器上执行，增强了可用性，促进了在资源受限环境中的更广泛采用。用于可重复性和研究用途的模型权重可在 https://huggingface.co/ibm/ttm-research-r2/ 获取，而 Apache 许可证下的企业用途权重可通过以下方式访问：初始 TTM-Q 变体在 https://huggingface.co/ibm-granite/granite-timeseries-ttm-r1，最新变体（TTM-B、TTM-E、TTM-A）权重在 https://huggingface.co/ibm-granite/granite-timeseries-ttm-r2。
引用
@article{arxiv.2401.03955,
title = {Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series},
author = {Vijay Ekambaram and Arindam Jati and Pankaj Dayama and Sumanta Mukherjee and Nam H. Nguyen and Wesley M. Gifford and Chandra Reddy and Jayant Kalagnanam},
journal= {arXiv preprint arXiv:2401.03955},
year = {2024}
}
备注
Accepted at the 38th Conference on Neural Information Processing Systems (NeurIPS 2024)