通过原型引导归一化桥接时间序列基础模型预训练中的分布差距
机器学习
2025-04-16 v1 人工智能
摘要
基础模型通过在大规模多样化数据集上进行大规模预训练在跨领域的机器学习任务中取得了显著成功。然而，在此类数据集上进行预训练会引入显著挑战，由于数据分布之间存在 substantial 不匹配，尤其在时间序列数据领域这一问题尤为突出。本文通过提出一种基于域感知的自适应归一化策略来解决此问题，该策略嵌入 Transformer 架构中。具体而言，我们用一种由 learned prototypes 封装不同数据分布的 prototype-guided 动态归一化机制 (ProtoNorm) 替代传统的 LayerNorm，其中 sample-to-prototype 的亲和力决定应使用的归一化层。该机制有效捕捉时间序列特征的异质性，将预训练的表示与下游任务对齐。通过全面实证评估，我们展示了该方法在分类和预测任务上显著优于传统预训练技术，同时有效缓解了预训练期间分布迁移的负面影响。将 ProtoNorm 纳入工作流程仅需替换一行代码。广泛的实验在多样化的真实世界时间序列基准上验证了该方法的鲁棒性与通用性，推动了更灵活的时间序列基础模型的发展。
引用
@article{arxiv.2504.10900,
title = {Bridging Distribution Gaps in Time Series Foundation Model Pretraining with Prototype-Guided Normalization},
author = {Peiliang Gong and Emadeldeen Eldele and Min Wu and Zhenghua Chen and Xiaoli Li and Daoqiang Zhang},
journal= {arXiv preprint arXiv:2504.10900},
year = {2025}
}