使用时空马尔可夫决策理论控制低温 Ising 模型
最优化与控制
2025-01-08 v1 数学物理
math.MP
概率论
摘要
我们引入时空马尔可夫决策过程( STMDP), 这是一种特殊类型的马尔可夫决策过程, 用于建模由时序和时空相互作用结构共同决定的序列决策问题。为阐述该框架, 我们构建了一个受低温二维 Ising 模型启发的 STMDP, 其在有限方格子上按 Metropolis 动力学演化。我们考虑外部决策者旨在通过在特定时刻翻转自旋来将系统驱动至全正配置的情况。在分析此问题时, 我们通过将配置空间约化为哈密顿量的局部最小值的方式构建了一个辅助 MDP。凭借该辅助 MDP 的便利形式, 我们通过递归求解 Bellman 方程来揭示最优策略的结构。最后, 我们对从辅助 MDP 中获得的最优策略在原始 Ising STMDP 中的性能进行了数值研究。
引用
@article{arxiv.2501.03668,
title = {Controlling the low-temperature Ising model using spatiotemporal Markov decision theory},
author = {M. C. de Jongh and Richard J. Boucherie and M. N. M. van Lieshout},
journal= {arXiv preprint arXiv:2501.03668},
year = {2025}
}