Olivia：将时序基础模型与功率谱密度谐化
机器学习
2026-05-20 v2
摘要
时序基础模型依赖于跨领域多样数据集的大规模预训练，然而其在时间模式上的异质性可能阻碍训练效果和可迁移时序表征的学习。灵感来源于信号处理中的标准化功率谱密度（PSD）概念，我们假设通过谱域中的PSD实现数据集谐化可减少匹配偏差并增强预训练。我们超越直接难以最小化的优化问题，创新性地将其重新表述为原则化的谐化方法。具体而言，我们提出Harmonizer模块，通过重塑谱结构在数据集之间隐式谐化PSD，理论上对应于二阶时序相关性的共享参数化。我们的理论分析进一步揭示，Harmonizer与token的相互作用可由一组紧凑共振器高效中介，激发HarmonicAttention设计，通过低维交互空间执行自注意力机制。随后，我们构建Olivia——基于这些谐化机制的新型时序基础模型。在两个大型基准（TSLib和GIFT-Eval）以及来自GluonTS的额外6个数据集上，Olivia在零样本、few-shot和全样本预测场景中始终实现最先进性能。代码已公开于 https://github.com/TSTS13/Olivia。
引用
@article{arxiv.2605.17340,
title = {Olivia: Harmonizing Time Series Foundation Models with Power Spectral Density},
author = {Jingru Fei and Kun Yi and Alex Xing Wang and Qingsong Wen and Xiangxiang Zhu and Wei Fan},
journal= {arXiv preprint arXiv:2605.17340},
year = {2026}
}
备注
Accepted by ICML 2026