TiCT：用于时间序列分类的合成预训练基础模型
机器学习
2025-11-27 v2 人工智能
摘要
时间序列数据的普遍性导致对通用基础模型的强烈需求，但开发用于分类的基础模型仍面临重大挑战，主要由于标签数据成本高昂。能够进行情境学习（in-context learning）的基础模型提供了强大的解决方案，能够仅通过少量示例适应新任务，从而减少对大量再训练的需求。然而， prior work on large-scale time series models 主要聚焦于预测，导致用于灵活、无需微调的分类的关键缺口。为此，我们引入 TiCT（Time-series in-Context Transformer），即基于 transformer 的模型，仅使用合成数据进行情境分类预训练。我们做出两个主要技术贡献：1）一种新型架构，采用可扩展的位编码标签和特殊的输出注意力机制，以处理任意数量的类别；2）一种合成预训练框架，将 Mixup 式方法与数据增强相结合，以促进泛化和噪声不变性。对 UCR Archive 上的广泛评估表明，TiCT 在不更新单个模型权重的情况下，仅通过推理时的情境示例，即可达到与最先进的监督方法的竞争性能。
关键词
引用
@article{arxiv.2511.19694,
title = {TiCT: A Synthetically Pre-Trained Foundation Model for Time Series Classification},
author = {Chin-Chia Michael Yeh and Uday Singh Saini and Junpeng Wang and Xin Dai and Xiran Fan and Jiarui Sun and Yujie Fan and Yan Zheng},
journal= {arXiv preprint arXiv:2511.19694},
year = {2025}
}