多智能体强化学习加速多尺度反演问题上的 MCMC
机器学习
2020-11-19 v1 数值分析
数值分析
摘要
在这项工作中，我们提出了一种多智能体 actor-critic 强化学习（RL）算法来加速多层蒙特卡洛马尔可夫链（MCMC）采样算法。智能体的策略（actors）用于在 MCMC 步骤中生成提议；而集中式的 critic 负责估计长期奖励。我们通过求解一个具有多尺度的反问题来验证所提出的算法。使用传统 MCMC 采样实现该问题存在几个困难。首先，后验分布的计算涉及评估正向求解器，这对于非均匀性问题非常耗时。因此我们建议使用多层算法。更确切地说，我们在多层拒绝过程中评估后验分布时，使用广义多尺度有限元方法（GMsFEM）作为正向求解器。其次，很难找到一个能够生成有意义采样的函数。为了解决这个问题，我们学习一个 RL 策略作为提议生成器。我们的实验表明，所提出的方法显著改善了采样过程。
引用
@article{arxiv.2011.08954,
title = {Multi-agent Reinforcement Learning Accelerated MCMC on Multiscale Inversion Problem},
author = {Eric Chung and Yalchin Efendiev and Wing Tat Leung and Sai-Mang Pun and Zecheng Zhang},
journal= {arXiv preprint arXiv:2011.08954},
year = {2020}
}