释放预训练语言模型在非均匀采样时间序列中的潜力
人工智能
2025-06-06 v2 机器学习
应用统计
摘要
预训练语言模型（PLMs），如 ChatGPT，已显著推进了自然语言处理领域。这一进展激发了一系列创新研究，探索将 PLMs 适配到时间序列分析中，旨在创建一个能够应对各种时间序列分析任务的统一基础模型。然而，这些努力主要集中于均匀采样时间序列（RSTS），忽视了非均匀采样时间序列（ISTS）所带来的独特挑战，后者以不均匀的采样间隔和普遍存在的数据缺失为特征。为弥合这一差距，本工作迈出了探索 PLMs 在 ISTS 分析中潜力的第一步。我们首先研究了各种 ISTS 表示方法的效果，旨在最大化 PLMs 在分析中的效能。此外，我们提出了一个统一的基于 PLM 的框架 ISTS-PLM，以应对多样化的 ISTS 分析任务。它集成了新颖的时序感知和变量感知 PLM，专门用于解决 ISTS 中棘手的序列内和序列间建模问题。最后，在全面基准测试上的大量实验表明，ISTS-PLM 利用结构化且有效的序列式表示来处理 ISTS，在各种分析任务上持续取得了最先进的性能，包括分类、插值、外推、少样本和零样本学习场景，涵盖医疗、生物力学和气候科学等科学领域。
引用
@article{arxiv.2408.08328,
title = {Unleashing The Power of Pre-Trained Language Models for Irregularly Sampled Time Series},
author = {Weijia Zhang and Chenlong Yin and Hao Liu and Hui Xiong},
journal= {arXiv preprint arXiv:2408.08328},
year = {2025}
}
备注
Accepted by KDD'25