一种带乘性步长适应的随机逼近算法
统计理论
2007-06-13 v1 概率论
统计理论
摘要
考虑一种搜索未知一元函数零点并在点 x 处以某种误差测量的算法。步长为随机正值，并按如下规则计算：若两次连续迭代方向相同，则步长乘以 u>1，否则乘以 0<d<1。该函数可有一个或多个零点；随机值独立同分布，均值为零且方差有限。在对两个参数 u 和 d 附加若干假设的条件下，可保证序列的几乎必然收敛，而在某些条件下则保证几乎必然发散。特别地，若误差分布中位数为 0 且在某些特定点处概率为零，则证明当 ud<1 时收敛发生，当 ud>1 时发散。由于步长更新的乘性规则，自然可预期序列收敛迅速：如几何级数般（若发生收敛），但极限值可能不重合，而是逼近函数的某个零点。通过调整参数 u 和 d，可达到所需的逼近精度；更高精度以更低的收敛速率为代价。
引用
@article{arxiv.math/0503434,
title = {A stochastic approximation algorithm with multiplicative step size adaptation},
author = {Alexander Plakhov and Pedro Cruz},
journal= {arXiv preprint arXiv:math/0503434},
year = {2007}
}