循环混合密度网络中的线性预训练
机器学习
2023-03-01 v1
摘要
我们提出一种用于预训练循环混合密度网络（RMDN）的方法。我们还对 Nikolaev 等人 [2012] 提出的 RMDN-GARCH 架构提出轻微修改。该预训练方法帮助 RMDN 在训练中避开不良局部极小，并提升其对 Guillaumes [2017] 所定义的持续性 NaN 问题的鲁棒性，该问题常出现于混合密度网络中。此问题表现为训练中频繁获得“非数”（NaN）值。所提出的预训练方法通过先在 RMDN 隐藏层中训练线性节点、再开始纳入非线性节点更新来解决这些问题。该方法提升了 RMDN 的性能，并确保其超越 GARCH 模型——即 RMDN 的线性对应模型。
引用
@article{arxiv.2302.14141,
title = {Linear pretraining in recurrent mixture density networks},
author = {Hubert Normandin-Taillon and Frédéric Godin and Chun Wang},
journal= {arXiv preprint arXiv:2302.14141},
year = {2023}
}