嵌入之时：通过通道描述解锁时间序列基础模型
机器学习
2025-05-21 v1
摘要
传统时间序列模型是特定于任务的，通常依赖于特定数据集的训练和大量的特征工程。尽管基于Transformer的架构提升了可扩展性，但在文本、视觉和音频中常见的基础模型在时间序列领域仍鲜有探索，且很大程度上局限于预测。我们引入了 ，一个用于多变量时间序列的基础嵌入模型，它能够学习共享的、可迁移的且具备领域感知的表示。为了应对时间序列基础学习的独特困难， 融合了架构创新，在集成通道级文本描述的同时保持对通道顺序不变。该模型使用联合嵌入预测架构（JEPA）进行训练，并配备了新颖的数据增强方案和旨在提升可解释性与训练稳定性的损失函数。我们的 M 参数模型在多种下游任务上取得了SOTA性能，为时间序列表示学习设定了新的基准。
引用
@article{arxiv.2505.14543,
title = {Time to Embed: Unlocking Foundation Models for Time Series with Channel Descriptions},
author = {Utsav Dutta and Sina Khoshfetrat Pakazad and Henrik Ohlsson},
journal= {arXiv preprint arXiv:2505.14543},
year = {2025}
}