同步扰动随机逼近中小样本的非伯努利扰动分布
统计方法学
2014-05-06 v1
摘要
同步扰动随机逼近（SPSA）已被证明在递归优化中是高效的。无论问题维度如何，SPSA 都使用基于两次函数评估的中心差分来近似梯度。通常，扰动向量使用伯努利 +-1 分布，且已有理论证明了该分布的渐近最优性。然而，伯努利分布的最优性在小样本随机逼近（SA）运行中可能不成立。在本文中，我们研究了分段均匀分布作为小样本 SPSA 扰动分布的性能。特别是，我们对 SA 的一次迭代进行了理论分析，这是一个合理的起点，可作为推广到具有多次迭代的其他小样本 SPSA 设置的基础。在本工作中，我们表明在小样本 SPSA 的某些参数选择下，伯努利分布可能不是扰动向量的最佳选择。
引用
@article{arxiv.1405.0769,
title = {Non-Bernoulli Perturbation Distributions for Small Samples in Simultaneous Perturbation Stochastic Approximation},
author = {Xumeng Cao},
journal= {arXiv preprint arXiv:1405.0769},
year = {2014}
}