关于利用 LSTM 与 Transformer 学习分子动力学中稀有事件的札记
人工智能
2021-07-15 v1 机器学习
计算物理
摘要
长短期记忆（LSTM）等用于语言模型的循环神经网络已被用作建模和预测复杂随机分子系统长期动力学的工具。近来，利用 LSTM 学习慢动力学的成功案例是在低维反应坐标的模拟数据上给出的。然而，在本报告中我们指出，以下三个关键因素显著影响语言模型学习的性能，即反应坐标的维数、时间分辨率和状态划分。当将循环神经网络应用于高维分子动力学模拟轨迹时，我们发现对应于慢动力学的稀有事件可能被系统中其他更快的动力学所掩盖，从而无法被有效学习。在此条件下，我们发现将构象空间粗粒化为亚稳态，并在估计状态间转移概率时去除再跨越事件，可极大帮助提高分子动力学中慢动力学学习的精度。此外，我们也探索了如 Transformer 等其他模型，其在克服这些问题上并未表现出优于 LSTM 的性能。因此，要通过 LSTM 和 Transformer 学习慢分子动力学的稀有事件，在高分辨率数据中选择适当的时间分辨率（即 MD 模拟轨迹的保存间隔）和状态划分至关重要，因为深度神经网络模型在数据中同时存在且相互影响的快、慢动力学时，可能无法自动将慢动力学与快动力学解耦。
引用
@article{arxiv.2107.06573,
title = {A Note on Learning Rare Events in Molecular Dynamics using LSTM and Transformer},
author = {Wenqi Zeng and Siqin Cao and Xuhui Huang and Yuan Yao},
journal= {arXiv preprint arXiv:2107.06573},
year = {2021}
}