面向 Markov 链优化的伪梯度方法
最优化与控制
2024-07-23 v1
摘要
我们发展了一种一阶（伪）梯度方法，用于优化离散时间马尔可夫链 (DTMC) 的固有分布上的函数。我们对为何解决该优化问题具有挑战性进行了阐述，并展示了如何通过变换来规避优化问题中固有的约束。该优化框架是 model-free 的，因为不需要明确建模马尔可夫链转移矩阵行元素之间的相互依赖。对变换进行建模后，我们构建了一种扩展的同时扰动随机逼近 (SPSA) 算法，称为 stochastic matrix SPSA (SM-SPSA)，以求解该优化问题。我们将 SM-SPSA 梯度搜索的性能与商业基准求解器进行了比较。数值实例表明，SM-SPSA 的扩展性更好，这使其成为大规模问题实例的首选求解方法。我们还将该算法应用于基于真实数据集的网页图中网页排名的最大化。正如我们在论文中所述，应用一阶梯度搜索时通常会遇到一种现象，我们称为 `infliction points'，即优化轨迹在几乎稳定行为之间出现的跳跃，这会减慢优化速度。我们提出了一种用于避免此类 infliction points 的启发式方法，并对广泛的网络进行 metastudy，显示我们启发式方法对 SM-SPSA 梯度搜索的收敛性能具有积极影响。
引用
@article{arxiv.2407.14786,
title = {A Pseudo-Gradient Approach for Model-free Markov Chain Optimization},
author = {Nanne A. Dieleman and Joost Berkhout and Bernd Heidergott},
journal= {arXiv preprint arXiv:2407.14786},
year = {2024}
}
备注
28 pages