结合强化学习与张量网络及其在动力学大偏差中的应用
统计力学
2024-04-08 v2 机器学习
摘要
我们提出一个将张量网络(TN)方法与强化学习(RL)相集成以解决动力学优化任务的框架。我们考虑RL的actor-critic方法——一种求解RL问题的无模型方法——并引入TN作为其策略与值函数的逼近器。我们的“基于张量网络的actor-critic”(ACTeN)方法特别适用于具有大而可分解的状态与动作空间的问题。作为ACTeN适用性的示例,我们求解了两个范式随机模型(玻璃的East模型与非对称简单排他过程(ASEP))中采样稀有轨迹这一指数困难任务,其中后者因缺乏细致平衡而对其他方法尤为困难。鉴于与大量现有RL方法进一步集成的巨大潜力,本文引入的方法在物理学应用以及更一般的多智能体RL问题中均具前景。
引用
@article{arxiv.2209.14089,
title = {Combining Reinforcement Learning and Tensor Networks, with an Application to Dynamical Large Deviations},
author = {Edward Gillman and Dominic C. Rose and Juan P. Garrahan},
journal= {arXiv preprint arXiv:2209.14089},
year = {2024}
}
备注
[v1]: Combined main text of 6 pages, 3 figures and supplemental materials of 7 pages, 1 figure. [v2]: Accepted version, Phys. Rev. Lett. Combined main text of 8 pages, 4 figures and supplemental materials of 5 pages