Apollo-Forecast：克服时间序列预测语言模型中的混叠与推理速度挑战
机器学习
2024-12-18 v1 人工智能
摘要
将时间序列编码为词元并使用语言模型进行处理已被证明能大幅增强模型泛化到未见任务的能力。然而，现有的用于时间序列预测的语言模型面临若干障碍，包括混叠失真和推理时间过长，这主要归因于量化过程的局限性和大模型的计算需求。本文介绍了 Apollo-Forecast，一种通过两项关键创新应对这些挑战的新框架：抗混叠量化模块（AAQM）和竞速解码（RD）技术。AAQM 能熟练地将序列编码为词元，同时减轻原始信号中的高频噪声，从而提高信号保真度和整体量化效率。RD 采用草稿模型实现并行处理和结果整合，显著加快了长期预测的推理速度，尤其是在大规模模型中。在各种真实世界数据集上的大量实验表明，在零样本场景下，Apollo-Forecast 在 WQL 和 MASE 指标上分别比现有最先进方法高出 35.41% 和 18.99%。此外，我们的方法在推理速度上比基线方法实现了 1.9 倍至 2.7 倍的加速。
引用
@article{arxiv.2412.12226,
title = {Apollo-Forecast: Overcoming Aliasing and Inference Speed Challenges in Language Models for Time Series Forecasting},
author = {Tianyi Yin and Jingwei Wang and Yunlong Ma and Han Wang and Chenze Wang and Yukai Zhao and Min Liu and Weiming Shen and Yufeng Chen},
journal= {arXiv preprint arXiv:2412.12226},
year = {2024}
}