TwinBooster：融合大语言模型与Barlow Twins及梯度提升的增强型分子性质预测
生物大分子
2024-09-04 v2 人工智能
计算与语言
机器学习
摘要
药物发现与开发的成功依赖于对分子活性和性质的精确预测。尽管计算机分子性质预测已展现出显著潜力，但其应用至今仍局限于可获得大量数据的检测。在本研究中，我们使用微调后的大语言模型，基于文本信息整合生物检测，并结合Barlow Twins（一种采用新型自监督学习方法的孪生神经网络）。该架构同时利用检测信息和分子指纹来提取真实的分子信息。TwinBooster通过提供最先进的零样本学习任务，实现了对未见过的生物检测和分子的性质预测。值得注意的是，我们的人工智能流程在FS-Mol基准上表现出色。这一突破证明了深度学习在数据通常稀缺的关键性质预测任务中的应用。通过加速药物发现与开发中活性分子的早期识别，该方法有望帮助简化新型治疗药物的鉴定。
引用
@article{arxiv.2401.04478,
title = {TwinBooster: Synergising Large Language Models with Barlow Twins and Gradient Boosting for Enhanced Molecular Property Prediction},
author = {Maximilian G. Schuh and Davide Boldini and Stephan A. Sieber},
journal= {arXiv preprint arXiv:2401.04478},
year = {2024}
}
备注
13(+9) pages(+appendix), 5 figures, 11 tables