AMLNet：用于非自回归多步时间序列预测的对抗互学习神经网络
机器学习
2024-08-09 v1
摘要
多步时间序列预测在众多领域中至关重要，要求高精度与高速度。自回归（AR）模型在短期预测中表现出色，但随着预测步长延长会出现速度慢和误差累积问题。非自回归（NAR）模型适合长期预测，但难以处理相互依赖关系，产生不真实的结果。我们提出 AMLNet，一种创新 NAR 模型，通过在线知识蒸馏（KD）方法实现真实预测。AMLNet 以协作方式训练一个深层 AR 解码器和一个深层 NAR 解码器，作为集成教师将知识传授给一个较浅的 NAR 解码器，从而兼具 AR 与 NAR 模型优势。该知识迁移通过两个关键机制实现：1）结果驱动的 KD，动态加权教师模型 KD 损失的贡献，使浅层 NAR 解码器融入集成多样性；2）提示驱动的 KD，采用对抗训练从模型隐藏状态提取有价值信息用于蒸馏。大量实验表明 AMLNet 优于传统 AR 与 NAR 模型，从而为提升精度并加速计算的多步时间序列预测提供了有前景的途径。
引用
@article{arxiv.2310.19289,
title = {AMLNet: Adversarial Mutual Learning Neural Network for Non-AutoRegressive Multi-Horizon Time Series Forecasting},
author = {Yang Lin},
journal= {arXiv preprint arXiv:2310.19289},
year = {2024}
}
备注
10 pages, 3 figures