从预测中学习：融合训练与自回归推理的长时序时空预测
机器学习
2023-02-23 v1 混沌动力学
计算物理
流体动力学
摘要
循环神经网络（RNN）已成为自然语言处理及湍流等髙维动力系统建模与预测框架的重要组成部分。为提高预测精度，RNN 采用时间反向传播（BPTT）方法训练以最小化预测损失。在测试时，RNN 常用于自回归场景，即网络输出被反馈至输入。然而，由于网络训练时接收的是真实数据而非自身预测，这会导致暴露偏差效应。当状态分布不同且训练和测试损失被度量时，训练与测试之间的这种失配会进一步加剧。为此，已有研究针对具有概率预测的语音处理网络提出了解决方案。基于这些进展，我们提出用于复杂系统预测的调度自回归 BPTT（BPTT-SA）算法。我们的结果表明，BPTT-SA 有效减少了卷积 RNN 与卷积自编码器 RNN 中的迭代误差传播，并展示了其在高维流体流动长期预测中的能力。
引用
@article{arxiv.2302.11101,
title = {Learning from Predictions: Fusing Training and Autoregressive Inference for Long-Term Spatiotemporal Forecasts},
author = {Pantelis R. Vlachas and Petros Koumoutsakos},
journal= {arXiv preprint arXiv:2302.11101},
year = {2023}
}
备注
18 pages