基于核流正则化的深度学习时间序列预测
机器学习
2021-09-27 v1 人工智能
摘要
长短期记忆（LSTM）神经网络已广泛用于时间序列预测问题。然而，LSTM 容易过拟合且在测试阶段性能下降。文献中已有若干不同正则化技术被证明可防止神经网络中的过拟合问题。本文首先介绍核流方法在时间序列预测中的通用应用；随后，我们检验在 LSTM 层上应用核流正则化以避免过拟合问题的有效性。我们通过在 LSTM 层上施加核流损失函数描述一种正则化方法。实验结果表明，核流在时间序列预测基准上优于基线模型。我们还比较了 dropout 与核流正则化技术在 LSTM 上的效果。实验结果显示核流达到了与 dropout 相似的正则化效果；并表明在某些时间序列数据集（如电力负荷需求预测）上，在 LSTM 层上结合核流与 dropout 正则化并使用早停可获得最佳结果。
引用
@article{arxiv.2109.11649,
title = {Deep Learning with Kernel Flow Regularization for Time Series Forecasting},
author = {Mahdy Shirdel and Reza Asadi and Duc Do and Micheal Hintlian},
journal= {arXiv preprint arXiv:2109.11649},
year = {2021}
}