权重初始化与权重继承对神经演化影响的实验研究
神经与进化计算
2020-09-29 v2
摘要
权重初始化对于成功训练人工神经网络（ANNs）至关重要，对于容易出现梯度消失与爆炸的循环神经网络（RNNs）更是如此。在将进化算法应用于神经架构搜索的神经演化中，权重通常需在三个不同时机初始化：搜索开始时创建初始基因组（ANN架构）时、通过交叉生成子代基因组时、以及变异过程中创建新节点或边时。本工作探讨了Xavier、Kaiming与均匀随机权重初始化方法，以及用于在交叉与变异操作中初始化新权重的新型拉马克式权重继承方法之间的差异。使用进化式增强记忆模型（EXAMM）神经演化算法进行考察，该算法能够通过高性能基于岛的分布式进化算法演化具有多种现代记忆单元（如LSTM、GRU、MGU、UGRNN与Delta-RNN单元）的RNN以及具有不同时间跳过的循环连接。结果以统计显著性表明，利用拉马克式策略优于Kaiming、Xavier与均匀随机权重初始化，并且可通过减少每个生成RNN所需评估的反向传播轮次来加速神经演化。
引用
@article{arxiv.2009.09644,
title = {An Experimental Study of Weight Initialization and Weight Inheritance Effects on Neuroevolution},
author = {Zimeng Lyu and AbdElRahman ElSaid and Joshua Karns and Mohamed Mkaouer and Travis Desell},
journal= {arXiv preprint arXiv:2009.09644},
year = {2020}
}