面向分子性质预测的更快、更紧凑的基础模型
机器学习
2025-04-29 v1 生物大分子
摘要
机器学习在分子性质预测方面的进展提升了精度,但代价是更高的计算成本和更长的训练时间。最近,联合多领域预训练(JMP)基础模型在各类下游任务中表现出色,且相较以往模型缩短了训练时间。尽管 JMP 具有上述优势,但在小规模乃至大规模分子数据集上对其进行微调仍需大量时间与计算资源。在本工作中,我们探究了在保持性能的同时减小模型规模以提升效率的策略。为了更好地理解模型的效率,我们分析了 JMP 各层的贡献,发现靠后的交互块收益递减,这表明模型压缩存在空间。我们通过剪枝预训练模型来探索块缩减策略,并评估其对微调效率与精度的影响。分析表明,移除两个交互块仅带来极小的性能下降,模型规模缩减 32%,推理吞吐量提升 1.3 倍。这些结果表明 JMP-L 存在过参数化,一个更小、更高效的变体即可在更低计算成本下取得相当的性能。本研究为开发更轻量、更快速、更具可扩展性的分子与材料发现基础模型提供了启示。代码已公开,地址为:https://github.com/Yasir-Ghunaim/efficient-jmp。
引用
@article{arxiv.2504.19538,
title = {Towards Faster and More Compact Foundation Models for Molecular Property Prediction},
author = {Yasir Ghunaim and Andrés Villa and Gergo Ignacz and Gyorgy Szekely and Motasem Alfarra and Bernard Ghanem},
journal= {arXiv preprint arXiv:2504.19538},
year = {2025}
}