将预训练蛋白质语言模型集成到几何深度网络中
机器学习
2023-10-31 v2 计算工程、金融与科学
定量方法
摘要
几何深度学习近来在非欧几里得领域取得了巨大成功，对大型生物分子三维结构的学习正成为一个独特的研究领域。然而，由于其结构数据数量有限，其功效受到很大制约。与此同时，在大量一维序列上训练的蛋白质语言模型已展现出随规模增长而在广泛应用中的新兴能力。先前的若干研究考虑结合这些不同的蛋白质模态以提升几何神经网络的表征能力，但未能对其益处给出全面理解。在本工作中，我们将训练良好的蛋白质语言模型所学到的知识集成到多个最先进的几何网络中，并评估了一系列蛋白质表征学习基准，包括蛋白质-蛋白质界面预测、模型质量评估、蛋白质-蛋白质刚体对接以及结合亲和力预测。我们的发现显示相对于基线有20%的整体提升。有力证据表明，蛋白质语言模型知识的引入显著增强了几何网络的能力，并可推广至复杂任务。
引用
@article{arxiv.2212.03447,
title = {Integration of Pre-trained Protein Language Models into Geometric Deep Learning Networks},
author = {Fang Wu and Lirong Wu and Dragomir Radev and Jinbo Xu and Stan Z. Li},
journal= {arXiv preprint arXiv:2212.03447},
year = {2023}
}