变分策略梯度在原子尺度材料合成中的应用
计算物理
2020-06-30 v1 材料科学
摘要
通过层状沉积技术的原子尺度材料合成提供了控制材料结构的独特机会，并可产生传统块体合成路线无法稳定的、展现独特功能特性的体系。然而，沉积过程本身呈现一个巨大的多维空间，传统上依靠直觉和试错来优化，减缓了进展。在此，我们展示深度强化学习在模拟材料合成问题中的应用，利用 Stein 变分策略梯度（SVPG）方法训练多个智能体来优化随机策略以产生期望的功能特性。我们的贡献为：（1）一个完全开源的层状材料合成问题模拟环境，采用动力学蒙特卡洛引擎并基于 OpenAI Gym 框架实现；（2）将 Stein 变分策略梯度方法扩展以处理图像和表格输入；（3）使用 Horovod 开发 SVPG 的并行（同步）实现，将多个智能体分布到 GPU 以及 CPU 上的独立模拟环境。我们展示了该方法在优化材料表面特性——表面粗糙度——中的效用，并探究了智能体所用策略与传统 actor-critic（A2C）基线的比较。此外，我们发现 SVPG 比传统 A2C 稳定了训练过程。若解决实现上的挑战，此类训练好的智能体可应用于多种原子尺度沉积技术，包括脉冲激光沉积和分子束外延。
引用
@article{arxiv.2006.15644,
title = {Application of variational policy gradient to atomic-scale materials synthesis},
author = {Siyan Liu and Nikolay Borodinov and Lukas Vlcek and Dan Lu and Nouamane Laanait and Rama K. Vasudevan},
journal= {arXiv preprint arXiv:2006.15644},
year = {2020}
}
备注
3 figures