训练深度傅里叶神经网络以拟合时间序列数据
神经与进化计算
2014-05-12 v1 机器学习
摘要
我们提出了一种训练包含正弦激活函数的深度神经网络以拟合时间序列数据的方法。权重使用快速傅里叶变换初始化，然后通过正则化训练以提高泛化能力。采用简单的动态参数调整方法来调整学习率和正则化项，从而实现稳定性和高效训练。我们展示了如何利用更深层来使用更稀疏的正弦单元集对观测序列进行建模，以及非均匀正则化如何通过促进权重向更简单单元转移来提高泛化能力。该方法通过时间序列问题进行了演示，表明它能够有效外推非线性趋势。
引用
@article{arxiv.1405.2262,
title = {Training Deep Fourier Neural Networks To Fit Time-Series Data},
author = {Michael S. Gashler and Stephen C. Ashmore},
journal= {arXiv preprint arXiv:1405.2262},
year = {2014}
}