使用自适应循环单元对深度预测模型进行流式自适应
机器学习
2019-07-05 v2 人工智能
机器学习
摘要
我们提出 ARU，一种用于深度全局训练时间序列预测模型流式自适应的自适应循环单元(Adaptive Recurrent Unit)。ARU 结合了深度全局模型跨多个时间序列学习复杂数据变换的优势与闭式线性模型提供的逐序列局部化优势。不同于现有或内存密集或训练后无响应的自适应方法，ARU 仅需固定大小状态并通过类 RNN 的简单更新操作适配流式数据。驱动 ARU 的核心原理很简单——维护条件高斯分布的充分统计量并用其以闭式计算局部参数。我们的贡献在于将此类局部线性模型嵌入全局训练的深度模型中，同时一方面允许端到端训练，另一方面允许类 RNN 的简单更新。在多个数据集上我们表明 ARU 比近期提出的、让全局网络负担计算局部参数的局部自适应方法更有效。
引用
@article{arxiv.1906.09926,
title = {Streaming Adaptation of Deep Forecasting Models using Adaptive Recurrent Units},
author = {Prathamesh Deshpande and Sunita Sarawagi},
journal= {arXiv preprint arXiv:1906.09926},
year = {2019}
}
备注
9 pages, 4 figures