降低估计偏差的广义同时扰动梯度搜索
机器学习
2023-11-14 v2 统计理论
机器学习
统计理论
摘要
本文提出了一族使用含噪函数测量的广义同时扰动梯度搜索（GSPGS）估计器。每个估计器所需的函数测量次数由期望的精度水平指导。我们首先详细介绍了非平衡广义同时扰动随机逼近（GSPSA）估计器，随后介绍了它们的平衡版本（B-GSPSA）。我们进一步扩展了这一思想，分别介绍了广义平滑函数（GSF）和广义随机方向随机逼近（GRDSA）估计器及其平衡变体。我们表明，在任意指定类别中，需要更多函数测量次数的估计器会产生更低的估计偏差。我们对所得随机逼近方案的渐近和非渐近收敛性进行了详细分析。我们进一步展示了各种 GSPGS 估计器在 Rastrigin 和二次函数目标上的一系列实验结果。实验结果验证了我们的理论发现。
引用
@article{arxiv.2212.10477,
title = {Generalized Simultaneous Perturbation-based Gradient Search with Reduced Estimator Bias},
author = {Soumen Pachal and Shalabh Bhatnagar and L. A. Prashanth},
journal= {arXiv preprint arXiv:2212.10477},
year = {2023}
}
备注
The material in this paper was presented in part at the Conference on Information Sciences and Systems (CISS) in March 2023