基于深度展开的马尔可夫链蒙特卡洛梯度下降收敛加速
无序系统与神经网络
2024-05-03 v1 机器学习
机器学习
摘要
本研究提出了一种基于深度展开（一种深度学习技术）的可训练采样求解器，用于组合优化问题（COPs）。该求解器基于结合马尔可夫链蒙特卡洛（MCMC）和梯度下降的Ohzeki方法，并通过最小化损失函数来训练其步长。在训练过程中，我们提出了一种基于采样的梯度估计方法，用方差估计替代自动微分，从而规避了因MCMC不可微性导致的反向传播失败。针对几个COPs的数值结果表明，与原始Ohzeki方法相比，所提出的求解器显著加速了收敛速度。
引用
@article{arxiv.2402.13608,
title = {Convergence Acceleration of Markov Chain Monte Carlo-based Gradient Descent by Deep Unfolding},
author = {Ryo Hagiwara and Satoshi Takabe},
journal= {arXiv preprint arXiv:2402.13608},
year = {2024}
}
备注
10 pages, 5 figures