GNN预训练有助于分子表示吗
机器学习
2022-11-03 v2 生物大分子
摘要
利用图神经网络（GNNs）提取分子的信息化表示在AI驱动的药物发现中至关重要。近来，图研究界试图复制自监督预训练在自然语言处理中的成功，并宣称取得了若干成果。然而，我们发现自监督预训练在小分子数据上带来的益处在许多情况下可忽略不计。我们对GNN预训练的关键组件进行了透彻的消融研究，包括预训练目标、数据划分方法、输入特征、预训练数据集规模以及GNN架构，以考察它们如何影响下游任务的精度。我们的第一个重要发现是，在许多设定下自监督图预训练相较于非预训练方法并不总具有统计显著的优势。其次，尽管通过额外的有监督预训练可观察到明显提升，但该提升可能随更丰富的特征或更均衡的数据划分而减弱。第三，超参数对下游任务精度的影响可能大于预训练任务的选择，尤其在下游任务规模较小时。最后，我们给出了关于某些预训练方法在小分子上的复杂度可能不足的猜想，并附于不同预训练数据集上的经验证据。
引用
@article{arxiv.2207.06010,
title = {Does GNN Pretraining Help Molecular Representation?},
author = {Ruoxi Sun and Hanjun Dai and Adams Wei Yu},
journal= {arXiv preprint arXiv:2207.06010},
year = {2022}
}