ReLSO：一种基于 Transformer 的蛋白质潜在空间优化与生成模型
机器学习
2022-06-01 v2
摘要
强大的自然语言模型的发展提升了学习蛋白质序列有意义表征的能力。此外，高通量诱变、定向进化和下一代测序的进步使得大量带标签的适应性数据得以积累。利用这两大趋势，我们引入了正则化潜在空间优化（ReLSO），这是一种基于深度 Transformer 的自编码器，具有高度结构化的潜在空间，被训练用于联合生成序列并预测适应性。通过正则化预测头，ReLSO 引入了一种强大的蛋白质序列编码器和一种高效遍历适应性景观的新方法。使用 ReLSO，我们显式地建模了大型带标签数据集的序列-功能景观，并通过在潜在空间中使用基于梯度的方法进行优化来生成新分子。我们在几个公开可用的蛋白质数据集上评估了这种方法，包括抗兰尼单抗和 GFP 的变异集。与其他方法相比，我们观察到 ReLSO 具有更高的序列优化效率（每次优化步骤中适应性的增加），其中 ReLSO 更稳健地生成高适应性序列。此外，联合训练的 ReLSO 模型学习到的基于注意力的关系，为序列级适应性归因信息提供了一条潜在途径。
引用
@article{arxiv.2201.09948,
title = {ReLSO: A Transformer-based Model for Latent Space Optimization and Generation of Proteins},
author = {Egbert Castro and Abhinav Godavarthi and Julian Rubinfien and Kevin B. Givechian and Dhananjay Bhaskar and Smita Krishnaswamy},
journal= {arXiv preprint arXiv:2201.09948},
year = {2022}
}