异构时间序列上的联邦基础模型

从头训练一个具有跨多样应用稳健泛化能力的通用时间序列基础模型仍然是一个开放的挑战。现有工作主要集中于融合跨领域时间序列数据集，提取共享子序列作为令牌，以在Transformer架构上训练模型。然而，由于跨领域存在显著的统计异质性，这种跨领域融合方法的效果不如融合文本和图像那样有效。为应对这一挑战，本文提出了一种新颖的联邦学习方法来解决时间序列基础模型训练中的异质性，即FFTS。具体来说，每个持有数据的组织被视为联邦学习框架中的一个独立客户端，然后训练多个客户端特定的局部模型以保留每个数据集的独特特征。此外，一种新的正则化机制将应用于客户端和服务端，从而对齐来自不同领域的异构数据集中的共享知识。在基准数据集上的大量实验证明了所提出的联邦学习方法的有效性。新学习的时间序列基础模型在跨领域时间序列分析任务（包括预测、插补和异常检测）上实现了优越的泛化能力。