利用理解人类语言的能力增强药物发现中的活性预测模型
生物大分子
2023-06-19 v2 计算与语言
机器学习
机器学习
摘要
活性和性质预测模型是药物发现与材料科学中的核心工作引擎，但目前它们必须针对新任务进行训练或微调。在不训练或微调的情况下，科学语言模型可凭借其宣称的零样本和少样本能力用于此类低数据任务。然而，它们在活性预测上的预测质量尚显不足。在本工作中，我们设想一种新型活性预测模型，能够通过理解描述任务的文本信息，在推理时适应新的预测任务。为此，我们提出了一种具有化学与自然语言输入分离模块的新架构，并在大型生化数据库数据上采用对比预训练目标。在大量实验中，我们表明我们的方法 CLAMP 在药物发现的少样本学习基准和零样本问题上均取得了更好的预测性能。我们将方法的进展归因于模块化架构和我们的预训练目标。
引用
@article{arxiv.2303.03363,
title = {Enhancing Activity Prediction Models in Drug Discovery with the Ability to Understand Human Language},
author = {Philipp Seidl and Andreu Vall and Sepp Hochreiter and Günter Klambauer},
journal= {arXiv preprint arXiv:2303.03363},
year = {2023}
}
备注
ICML version, 15 pages + 18 pages appendix