Xihe：基于层次交错块注意力的可扩展零样本时间序列学习器
计算机视觉与模式识别
2025-10-28 v1 人工智能
摘要
时间序列基础模型（Time Series Foundation Models, TSFMs）的快速发展得益于从语言模型迁移的架构。虽然现有 TSFMs 显示出惊人的性能，但其直接采用跨领域架构限制了有效捕捉时间序列数据固有的多尺度时序依赖性。这一限制在跨数据集进行零样本迁移时尤为突出，尤其当底层模式和抽样策略差异显著时。为此，我们提出层次交错块注意力（Hierarchical Interleaved Block Attention, HIBA），其采用层次化的块内外稀疏注意力机制，有效捕捉多尺度依赖性。块内注意力促进局部信息交换，块间注意力跨越多个块以捕捉全局时序模式交互与动态演化。基于 HIBA 架构，我们引入了Xihe，一套可扩展的 TSFM 系列，从参数量仅 9.5 百万的超高效配置，到 15 亿参数的高容量变体。评估于全面基准 GIFT-Eval 后，我们最简约的 Xihe-tiny 模型（9.5M 参数）便超越了当今大多数 TSFMs，显示出极佳的参数效率。更令人印象深刻的是，Xihe-max（15 亿参数）建立了新的零样本性能 SOTA，超越了此前的最佳结果。整个参数范围内的持续优异性能，为 HIBA 架构的卓越泛化能力和架构优越性提供了有力证据。
引用
@article{arxiv.2510.21795,
title = {Xihe: Scalable Zero-Shot Time Series Learner Via Hierarchical Interleaved Block Attention},
author = {Yinbo Sun and Yuchen Fang and Zhibo Zhu and Jia Li and Yu Liu and Qiwen Deng and Jun Zhou and Hang Yu and Xingyu Lu and Lintao Ma},
journal= {arXiv preprint arXiv:2510.21795},
year = {2025}
}