基于种群的全局优化方法用于RNN长程依赖学习
机器学习
2019-05-24 v1 机器学习
摘要
尽管在网络架构与损失函数方面有近期创新，由于基于梯度的优化方法存在困难，训练RNN学习长程依赖仍然不易。受深度神经进化在强化学习中成功的启发（Such等，2017），我们探索使用无梯度的基于种群的全局优化（PBO）技术——训练RNN以捕捉时间序列数据中的长程依赖。在波动率预测应用上测试进化策略（ES）与粒子群优化（PSO），我们证明PBO方法总体上带来性能提升，其中ES在多种架构下展现出最一致的结果。
引用
@article{arxiv.1905.09691,
title = {Population-based Global Optimisation Methods for Learning Long-term Dependencies with RNNs},
author = {Bryan Lim and Stefan Zohren and Stephen Roberts},
journal= {arXiv preprint arXiv:1905.09691},
year = {2019}
}
备注
To appear at ICML 2019 Time Series Workshop