面向长上下文时间序列基础模型的探索
机器学习
2024-09-23 v1
摘要
时间序列基础模型在各种任务上展现出惊人的性能，涵盖广泛的领域，即使在零样本设置下也表现出色。然而，这些模型大多设计用于处理短 univariate 时间序列作为输入。这限制了其实际应用，尤其是在数据量大、长且具有强时序和内部变量依赖性的领域（如医疗保健）。本研究通过梳理来自语言和时间序列领域的各种上下文扩张技术，并引入一种新型压缩记忆机制，使 encoder-only 时间序列基础模型能够有效地建模内部变量依赖性。我们通过为最近的一系列多任务时间序列基础模型（MOMENT）注入多变量上下文来展示我们方法的优势。
引用
@article{arxiv.2409.13530,
title = {Towards Long-Context Time Series Foundation Models},
author = {Nina Żukowska and Mononito Goswami and Michał Wiliński and Willa Potosnak and Artur Dubrawski},
journal= {arXiv preprint arXiv:2409.13530},
year = {2024}
}