InstructPLM-mu：1 小时微调的 ESM2 超越 ESM3 在蛋白质突变预测中

Junde Xu; Yapin Shi; Lijun Lang; Taoyong Cui; Zhiming Zhang; Guangyong Chen; Jiezhong Qiu; Pheng-Ann Heng

InstructPLM-mu：1 小时微调的 ESM2 超越 ESM3 在蛋白质突变预测中

定量方法 2026-02-02 v3 人工智能计算工程、金融与科学

作者: Junde Xu , Yapin Shi , Lijun Lang , Taoyong Cui , Zhiming Zhang , Guangyong Chen , Jiezhong Qiu , Pheng-Ann Heng

摘要

多模态蛋白质语言模型在突变效应预测方面表现优异，但从头训练此类模型需要大量计算资源。本文提出一种名为 InstructPLM-mu 的微调框架，并尝试回答一个问题：\textit{对预训练的序列唯一蛋白质语言模型进行多模态微调，能否匹配端到端训练模型的性能？\textit{} surprisingly，我们的实验表明，使用结构输入对 ESM2 进行微调，可以达到与 ESM3 相当的性能。为理解其实现方式，我们系统比较了三种不同的特征融合设计和微调配方。我们的结果表明，融合方法和调优策略都对最终准确率有显著影响，表明微调过程并非 trivial。我们希望本工作为向预训练蛋白质语言模型注入结构信息提供实用指导，并激励进一步研究更好的融合机制和微调协议。

关键词

蛋白质语言模型突变预测 ESM2 微调结构输入

引用

@article{arxiv.2510.03370,
  title  = {InstructPLM-mu: 1-Hour Fine-Tuning of ESM2 Beats ESM3 in Protein Mutation Predictions},
  author = {Junde Xu and Yapin Shi and Lijun Lang and Taoyong Cui and Zhiming Zhang and Guangyong Chen and Jiezhong Qiu and Pheng-Ann Heng},
  journal= {arXiv preprint arXiv:2510.03370},
  year   = {2026}
}

备注

preprint

InstructPLM-mu：1 小时微调的 ESM2 超越 ESM3 在蛋白质突变预测中

摘要

关键词

引用

备注

相关论文