基于协变量感知的时序基础模型适应框架
机器学习
2025-10-15 v1
摘要
时序基础模型（TSFMs）通过其模型容量、可扩展性和零样例泛化能力展现出显著的影响力。然而，由于Inter-variate依赖的异质性以及基于大规模多变量数据集的主干可扩展性，大多数TSFMs通常在单变量时序数据上进行预训练。此限制使其对现实世界预测任务中来自各种协变量的关键信息感到局限。为进一步提升TSFMs的性能，我们提出了一种通用的协变量感知适应（CoRA）框架。该框架在保持基础模型预训练主干的基础上，有效地整合来自各种模态（包括时序数据、语言和图像）的外生协变量，以提高预测质量。技术上，CoRA在适应过程中维持初始化的等效性和参数一致性。通过保持基础模型的预训练主干作为冻结特征提取器，我们的实验表明，基础模型的输出嵌入比原始数据更具信息量。进一步地，CoRA采用一种新颖的格兰格因果嵌入（GCE）来自动评估协变量就其对目标变量的因果可预测性。我们将这些加权嵌入与零初始化条件注入机制相结合，避免预训练基础模型的灾难性遗忘，并逐渐整合外生信息。广泛的实验表明，CoRA的TSFMs在全样本或少样本训练样本方面超越了最先进的协变量感知深度预测器，实现了约31.1%的均方误差降低。与其他适应方法相比，CoRA与各种先进的TSFMs表现出强大的兼容性，并将协变量的范围扩展到其他模态，为TSFMs的实际应用提供了一种可行的范式。
引用
@article{arxiv.2510.12681,
title = {CoRA: Covariate-Aware Adaptation of Time Series Foundation Models},
author = {Guo Qin and Zhi Chen and Yong Liu and Zhiyuan Shi and Haixuan Liu and Xiangdong Huang and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2510.12681},
year = {2025}
}