用于短期负荷预测的改进门控循环编解码网络的零初始化
机器学习
2018-12-11 v1 机器学习
摘要
单层前馈神经网络(FNN)常被用作 seq2seq 等模型中的最后一层，或作为一个简单的 RNN 网络。该层的作用是将输出变换到所需的维度。在权重和偏置初始化方面，目前尚无能够加速学习过程的特定技术。我们可以依赖 Xavier 或 He 初始化等深度网络初始化技术。但此类初始化在提升学习速度或精度方面收效甚微。本文提出针对单层网络权重的零初始化(ZI)。我们首先在一个简单 RNN 网络上测试该技术，并将结果与 Xavier、He 和 Identity 初始化进行比较。作为最终测试，我们将其应用于 seq2seq 网络。研究发现，ZI 显著减少了所用 epoch 数量并提高了精度。所开发的模型已使用澳大利亚能源市场的负荷数据进行短期负荷预测。该模型能够准确预测次日负荷，误差为 0.94%。
引用
@article{arxiv.1812.03425,
title = {Zero Initialization of modified Gated Recurrent Encoder-Decoder Network for Short Term Load Forecasting},
author = {Vedanshu and M M Tripathi},
journal= {arXiv preprint arXiv:1812.03425},
year = {2018}
}