面向改善 ADMET 模型的原子级量子属性预训练图变换器
机器学习
2024-10-11 v1 人工智能
摘要
我们评估了将基于原子水平量子力学特征的预训练 Graph Transformer 架构对药物类化合物吸收、分布、代谢、排泄和毒性（ADMET）属性建模的影响。我们将这种预训练策略与两种其他策略进行比较：一种基于分子量子性质（具体为 HOMO-LUMO 间隙）的预训练，另一种使用自监督原子遮挡技术的预训练。在 Therapeutic Data Commons ADMET 数据集上进行微调后，我们评估了不同模型的性能提升，发现使用原子量子力学特性预训练的模型总体上产生更好的结果。我们随后分析了潜在表示，观察到监督式策略在微调后保留了预训练信息，而不同预训练方法在不同层次的潜在表达性上呈现不同趋势。此外，我们发现基于原子量子力学特性预训练的模型通过注意力权重捕捉到输入图更低频率的拉普拉斯特征值特征，并更好地表征分子中原子环境。将该分析应用于规模更大的非公开数据集进行微somal clearance 分析，说明了所研究指标的通用性。在这种情况下，模型的性能与表示分析相一致，并突出了特别是遮挡预训练和原子级量子属性预训练的情况下，性能相似的模型在大规模制药数据上的不同性能。
引用
@article{arxiv.2410.08024,
title = {Pretraining Graph Transformers with Atom-in-a-Molecule Quantum Properties for Improved ADMET Modeling},
author = {Alessio Fallani and Ramil Nugmanov and Jose Arjona-Medina and Jörg Kurt Wegner and Alexandre Tkatchenko and Kostiantyn Chernichenko},
journal= {arXiv preprint arXiv:2410.08024},
year = {2024}
}