利用反应预测预训练Transformer用于分子性质预测
机器学习
2022-07-07 v1 化学物理
生物大分子
摘要
分子性质预测在化学中至关重要，尤其是在药物发现应用中。然而，可用的分子性质数据通常有限，这促使人们从相关数据中迁移信息。迁移学习已在计算机视觉和自然语言处理等领域产生了巨大影响，预示着其在分子性质预测中的潜力。我们提出了一种使用反应数据进行分子表示学习的预训练程序，并用它来预训练一个SMILES Transformer。我们在MoleculeNet中物理化学、生物物理学和生理学领域的12个分子性质预测任务上对预训练模型进行微调和评估，结果显示，与未预训练的基线模型相比，在12个任务中有5个任务取得了统计上显著的积极效果。
引用
@article{arxiv.2207.02724,
title = {Pre-training Transformers for Molecular Property Prediction Using Reaction Prediction},
author = {Johan Broberg and Maria Bånkestad and Erik Ylipää},
journal= {arXiv preprint arXiv:2207.02724},
year = {2022}
}
备注
Accepted to the 2022 ICML Workshop 2nd AI for Science