基于 q-高斯分布的随机优化平滑泛函算法
信息论
2014-07-04 v6 机器学习
math.IT
统计方法学
摘要
平滑泛函 (SF) 梯度估计方案在随机优化算法中已知是高效的，特别是在旨在提升随机系统性能时。然而，这些方法的性能取决于多个参数，例如合适平滑核的选择。文献中已研究了不同的核，包括高斯分布、柯西分布和均匀分布等。本文研究了一类基于 q-高斯分布的新核，该分布在统计物理学中近十年来已广受欢迎。尽管该分布族的重要性归因于其推广高斯分布的能力，但我们观察到该类几乎涵盖了所有现有的平滑核。这促使我们研究使用 q-高斯分布进行梯度估计的 SF 方案。利用推导出的梯度估计，我们提出了两种时间尺度算法，用于在带有投影梯度搜索方法的约束设置下优化随机目标函数。我们证明了算法收敛到相关常微分方程 (ODE) 的驻点集。我们还通过在排队模型上的模拟数值展示了它们的性能。
引用
@article{arxiv.1206.4832,
title = {Smoothed Functional Algorithms for Stochastic Optimization using q-Gaussian Distributions},
author = {Debarghya Ghoshdastidar and Ambedkar Dukkipati and Shalabh Bhatnagar},
journal= {arXiv preprint arXiv:1206.4832},
year = {2014}
}