推理-only Dropout 提升蛋白质语言模型零样态适应性预测
机器学习
2025-06-19 v1
摘要
蛋白质语言模型（PLMs）如 ESM2 已被证明能够对蛋白质的关键标量属性（适应性）进行零样态预测。在本工作中，我们表明，在 PLM 的特征提取/嵌入层与其转换器之间注入一个 dropout 层并对其输出进行平均（类似于蒙特卡罗 dropout），可提高在 ProteinGym 数据集子集上的零样态性能。这一现象即使该模型在训练时最初未包含 dropout 也适用，且不需要对 PLM 进行重新训练或微调。_dropout=0.1 在所有模型中均表现良好。
引用
@article{arxiv.2506.14793,
title = {Protein Language Model Zero-Shot Fitness Predictions are Improved by Inference-only Dropout},
author = {Aditya Ravuri and Neil D. Lawrence},
journal= {arXiv preprint arXiv:2506.14793},
year = {2025}
}