面向在线时间序列预测的快速与慢速学习
机器学习
2022-10-18 v2 机器学习
摘要
深度神经网络在非平稳环境中的快速适应能力对在线时间序列预测至关重要。成功的解决方案需要处理新出现模式与重现模式的变化。然而,由于深度神经预测器适应非平稳环境的能力有限以及对旧知识的灾难性遗忘,在线训练它们向来极具挑战。受互补学习系统(CLS)理论启发,我们提出快速与慢速学习网络(FSNet),一种用于在线时间序列预测的整体框架,以同时应对突变与重复模式。特别地,FSNet 通过动态平衡对近期变化的快速适应与相似旧知识的检索来改进慢速学习的骨干网络。FSNet 通过两个互补组件的交互实现该机制:一个用于监控各层对损失贡献的适配器,以及一个用于支持记忆、更新和回忆重复事件的联想记忆。在真实与合成数据集上的大量实验验证了 FSNet 对新模式和重现模式的有效性与鲁棒性。我们的代码见 \url{https://github.com/salesforce/fsnet}。
引用
@article{arxiv.2202.11672,
title = {Learning Fast and Slow for Online Time Series Forecasting},
author = {Quang Pham and Chenghao Liu and Doyen Sahoo and Steven C. H. Hoi},
journal= {arXiv preprint arXiv:2202.11672},
year = {2022}
}