一种利用RNN专家混合与自适应方差学习分割时间序列的模型

本文提出了一种用于循环神经网络(RNN)专家混合模型的新型学习方法，该模型能够通过在专家之间动态切换来获得生成目标序列的能力。我们的方法基于最大似然估计，使用梯度下降算法。这种方法与常规方法中使用的类似；然而，我们通过增加改变每个专家方差的机制来修改似然函数。实验表明，所提出的方法成功学习了9条李萨如曲线集合间的马尔可夫链切换，而常规方法对此无法实现。在泛化能力方面分析的所提方法的学习性能也显示出优于常规方法。通过增加门控网络，所提方法成功应用于小型仿人机器人的感觉运动流学习，作为时间序列预测与生成的现实问题。