Ankh：经优化的蛋白质语言模型释放通用建模能力
机器学习
2023-01-18 v1 计算与语言
分布式、并行与集群计算
定量方法
摘要
与扩大蛋白质语言模型（PLM）规模相反，我们致力于通过蛋白质特异性优化来提升性能。尽管语言模型大小与其所学表示的丰富性之间的正比关系已得到验证，我们优先考虑可及性，并追求数据高效、成本降低和知识引导的优化路径。通过超过二十项涵盖掩码、架构和预训练数据的实验，我们从蛋白质特异性实验中得出见解，以最优方式构建解释生命语言的模型。我们提出 Ankh，首个在 Google 的 TPU-v4 上训练的通用 PLM，以更少的参数超越最先进性能（预训练参数 <10%，推理参数 <7%，嵌入维度 <30%）。我们提供了一系列 Ankh 表现出色的结构与功能基准。我们进一步在 High-N 和 One-N 输入数据规模上提供蛋白质变体生成分析，其中 Ankh 成功学习了蛋白质进化保守-突变趋势，并在保留关键结构-功能特征的同时引入功能多样性。我们将本研究致力于通过可获取的资源促进研究创新的可及性。
引用
@article{arxiv.2301.06568,
title = {Ankh: Optimized Protein Language Model Unlocks General-Purpose Modelling},
author = {Ahmed Elnaggar and Hazem Essam and Wafaa Salah-Eldin and Walid Moustafa and Mohamed Elkerdawy and Charlotte Rochereau and Burkhard Rost},
journal= {arXiv preprint arXiv:2301.06568},
year = {2023}
}
备注
29 pages, 6 figures