SeqProFT：基于LoRA微调的仅序列蛋白质性质预测
机器学习
2025-12-09 v2 定量方法
摘要
蛋白质语言模型（PLMs）在学习蛋白质序列与功能之间的关系方面展现出了卓越的能力。然而，微调这些大型模型需要大量的计算资源，且通常难以获得理想的特定任务结果。本研究探讨了如何通过LoRA进行参数高效微调，以在显著降低计算需求的同时增强蛋白质性质预测。通过将LoRA应用于不同规模的ESM-2和ESM-C模型，并评估10个多样化的蛋白质性质预测任务，我们证明了带有LoRA自适应的较小模型可以匹配或超越无自适应的较大模型的性能。此外，我们通过多头注意力机制整合了接触图信息，提升了模型对结构特征的理解。我们的系统分析表明，LoRA微调能够实现更快的收敛速度、更好的性能以及更高效的资源利用，为资源受限环境下的蛋白质研究应用提供了实用指导。代码可在 https://github.com/jiankliu/SeqProFT 获取。
引用
@article{arxiv.2411.11530,
title = {SeqProFT: Sequence-only Protein Property Prediction with LoRA Finetuning},
author = {Shuo Zhang and Jian K. Liu},
journal= {arXiv preprint arXiv:2411.11530},
year = {2025}
}