消息随时间传播：一种用于时间序列建模中序列依赖保持的算法
机器学习
2023-10-02 v1
摘要
时间序列建模是科学中的一个重要领域，在使用常规小批量训练策略训练循环神经网络(Recurrent Neural Networks, RNNs)等机器学习(Machine Learning, ML)模型时，常遇到挑战，该策略假设样本独立同分布(independent and identically distributed, IID)并以零隐藏状态初始化RNN。IID假设忽略了样本间的时间依赖，导致性能不佳。本文提出消息随时间传播(Message Propagation Through Time, MPTT)算法，在保持比有状态方案更快训练时间的同时，有效纳入长时间依赖。MPTT利用两个记忆模块异步管理RNN的初始隐藏状态，促进样本间无缝信息交换，并允许各轮次中使用不同的小批量。MPTT进一步实施三种策略以过滤过时的信息并保留隐藏状态中的关键信息，从而为RNN生成信息丰富的初始隐藏状态，促进稳健训练。实验结果表明，在四个具有不同时间依赖程度的气候数据集上，MPTT优于七种策略。
引用
@article{arxiv.2309.16882,
title = {Message Propagation Through Time: An Algorithm for Sequence Dependency Retention in Time Series Modeling},
author = {Shaoming Xu and Ankush Khandelwal and Arvind Renganathan and Vipin Kumar},
journal= {arXiv preprint arXiv:2309.16882},
year = {2023}
}