一种用于随机神经网络的同步扰动弱导数估计器
最优化与控制
2019-05-07 v1
摘要
本文研究了被称为Little模型的非线性随机单元网络的梯度估计。许多机器学习系统可描述为同构单元的网络，而Little模型具有特别一般的形式，它将若干流行的机器学习架构作为特例包含在内。然而，由于平稳分布的闭式解未知，适用于玻尔兹曼机或Sigmoid信念网络等类似模型的梯度方法无法使用。为此，我们基于测度值微分与同步扰动，提出了一种计算该系统导数的方法。这扩展了先前仅针对对称性或无环连接等限制性特征网络给出梯度估计算法的工作。
引用
@article{arxiv.1905.01350,
title = {A Simultaneous Perturbation Weak Derivative Estimator for Stochastic Neural Networks},
author = {Thomas Flynn and Felisa Vázquez-Abad},
journal= {arXiv preprint arXiv:1905.01350},
year = {2019}
}
备注
18 pages