关于预训练语言模型在抗体任务上的研究
计算与语言
2023-03-03 v2 生物大分子
摘要
抗体是为人体提供针对病原体的强健保护的重要蛋白质。通用蛋白质与抗体专用的预训练语言模型的发展均促进了抗体预测任务。然而，全面探究不同预训练语言模型在各类抗体任务上表征能力的研究仍十分有限。为探究该问题，本文旨在回答若干关键问题，例如预训练语言模型在不同特异性的抗体任务上表现如何，以及将特定生物机制引入预训练过程如何裨益模型。此外，我们评估所学得的抗体预训练表征能否应用于真实世界的抗体问题，如药物发现与免疫过程理解。此前，缺乏可用基准在很大程度上阻碍了对这些问题的研究。为辅助我们的探究，我们提供了一个抗体理解评测（AnTibody Understanding Evaluation, ATUE）基准。我们通过实证研究全面评估了蛋白质预训练语言模型的性能，并给出结论与新见解。我们的 ATUE 与代码发布于 https://github.com/dqwang122/EATLM。
引用
@article{arxiv.2301.12112,
title = {On Pre-trained Language Models for Antibody},
author = {Danqing Wang and Fei Ye and Hao Zhou},
journal= {arXiv preprint arXiv:2301.12112},
year = {2023}
}
备注
Accepted in ICLR 2023