基于扩散建模与Transformer深度神经网络的新颖化学设计生成发现及其在低共熔溶剂中的应用
材料科学
2023-06-21 v1 无序系统与神经网络
介观与纳米尺度物理
统计力学
摘要
我们报道了一系列深度学习模型，用于解决分子建模与设计中的复杂正向与逆向设计问题。利用受非平衡热力学启发的扩散模型以及基于注意力的transformer架构，我们展示了一种捕捉复杂化学结构的灵活框架。模型首先在QM9数据集及一系列量子力学性质（如homo、lumo、自由能、热容等）上训练，随后推广至研究与设计低共熔溶剂的关键性质。除独立的正向与逆向模型外，我们还报道了一种集成的、完全基于提示的多任务生成式预训练transformer模型，该模型在一个模型内灵活地完成多个正向、逆向设计与预测任务。我们表明，该多任务生成模型具有总体最佳性能，并允许在一个模型内针对不同的化学体系灵活整合多个目标，这表明在该大语言模型训练过程中出现了协同效应。该模型在QM9数据集与低共熔溶剂（DESs）相关任务上联合训练，可预测多种量子力学性质与临界性质以实现低共熔溶剂行为。基于该框架提出了若干新颖的DES组合。
引用
@article{arxiv.2304.12400,
title = {Generative Discovery of Novel Chemical Designs using Diffusion Modeling and Transformer Deep Neural Networks with Application to Deep Eutectic Solvents},
author = {Rachel K. Luu and Marcin Wysokowski and Markus J. Buehler},
journal= {arXiv preprint arXiv:2304.12400},
year = {2023}
}