用于循环神经网络参数与噪声辨识的 D-最优 Bayesian 询问
神经与进化计算
2008-01-15 v1 信息论
math.IT
摘要
我们引入了一种新颖的在线 Bayesian 方法，用于辨识一族含噪循环神经网络（RNN）。我们开发了 Bayesian 主动学习技术，以根据过往经验优化询问刺激。具体而言，我们将未知参数视为随机变量，并采用 D-最优性原理（也称为“infomax 方法”）来选择最优刺激。我们应用贪心技术，在每个时间步最大化关于网络参数的信息增益。我们还推导了扰动 RNN 动力系统的加性噪声的 D-最优估计。我们的解析结果无需近似。该解析推导导出了具有吸引力的二次更新规则。
引用
@article{arxiv.0801.1883,
title = {D-optimal Bayesian Interrogation for Parameter and Noise Identification of Recurrent Neural Networks},
author = {Barnabas Poczos and Andras Lorincz},
journal= {arXiv preprint arXiv:0801.1883},
year = {2008}
}