基于去噪预训练的分子性质预测
机器学习
2022-10-26 v2 生物大分子
机器学习
摘要
许多涉及从三维结构预测分子性质的重要问题数据有限，对神经网络提出了泛化挑战。本文中，我们描述了一种基于去噪的预训练技术，通过利用大量处于平衡态的三维分子结构数据集来学习用于下游任务的有意义表示，从而在分子性质预测中达到新的最先进水平。依托去噪自编码器与分数匹配之间的已知联系，我们表明该去噪目标对应于直接由平衡态结构学习分子力场——这源于用高斯混合近似玻尔兹曼分布。我们的实验证明，使用此预训练目标在多个基准上显著提升性能，在广泛使用的 QM9 数据集中的大多数目标上达到了新的最先进水平。我们的分析随后提供了关于不同因素——数据集规模、模型规模与架构，以及上游与下游数据集的选择——对预训练影响的实用见解。
引用
@article{arxiv.2206.00133,
title = {Pre-training via Denoising for Molecular Property Prediction},
author = {Sheheryar Zaidi and Michael Schaarschmidt and James Martens and Hyunjik Kim and Yee Whye Teh and Alvaro Sanchez-Gonzalez and Peter Battaglia and Razvan Pascanu and Jonathan Godwin},
journal= {arXiv preprint arXiv:2206.00133},
year = {2022}
}