通过 tanh 函数传播不确定性及其在储备池计算中的应用
机器学习
2018-06-26 v1 机器学习
摘要
许多神经网络使用 tanh 激活函数，然而当输入为概率分布时，带有 tanh 激活的神经网络中计算输出分布的问题尚未得到解决。一个重要例子是储备池计算中回声状态网络的初始化，其中储备池的随机初始化需要时间以洗去初始条件，从而浪费宝贵的数据与计算资源。受此问题驱动，我们提出一种基于矩的新颖方案，通过回声状态网络传播不确定性以缩短洗去时间。本工作中，我们贡献了两种通过 tanh 激活函数传播不确定性的新方法，并提出概率回声状态网络（PESN）——一种被证明在储备池状态随机初始化下具有优于确定性回声状态网络平均性能的方法。此外，我们在两个回归任务上测试了我们所方法的单步与多步不确定性传播，并展示能够恢复与蒙特卡洛模拟计算相近的均值与方差。
引用
@article{arxiv.1806.09431,
title = {Propagating Uncertainty through the tanh Function with Application to Reservoir Computing},
author = {Manan Gandhi and Keuntaek Lee and Yunpeng Pan and Evangelos Theodorou},
journal= {arXiv preprint arXiv:1806.09431},
year = {2018}
}