迁移分子基础模型用于聚合物性质预测
机器学习
2023-10-27 v1 化学物理
摘要
基于 Transformer 的大语言模型在加速药物开发和材料发现等应用的设计优化方面具有显著潜力。Transformer 模型的自监督预训练需要大规模数据集，而在聚合物科学等专题领域中这类数据集往往稀疏。针对聚合物的前沿方法通过数据增强来生成额外样本，但不可避免地带来额外计算成本。相比之下，小分子的大规模开源数据集可用，并通过迁移学习为数据稀缺提供了潜在解决方案。在这项工作中，我们表明，使用在小分子上预训练并在聚合物性质上微调的 Transformer，在一系列基准预测任务中可达到与在增强的聚合物数据集上训练的模型相当的准确率。
引用
@article{arxiv.2310.16958,
title = {Transferring a molecular foundation model for polymer property predictions},
author = {Pei Zhang and Logan Kearney and Debsindhu Bhowmik and Zachary Fox and Amit K. Naskar and John Gounley},
journal= {arXiv preprint arXiv:2310.16958},
year = {2023}
}