让图神经网络在低数据分子机器学习中物有所值
机器学习
2020-11-25 v1 人工智能
摘要
图神经网络因其所学表示的表达力，已成为分子上机器学习的热门方法。然而，分子机器学习典型地属于低数据情形，尚不清楚图神经网络能否在低资源设定下避免过拟合。相比之下，指纹方法因其参数量少且为人工设计特征，是低数据环境下的传统标准。本工作中，我们考察图神经网络在小数据设定下相较于参数上“更廉价”的指纹方法替代方案是否具有竞争力。当我们发现其并不具备竞争力时，我们探索了预训练以及元学习方法 MAML（及其变体 FO-MAML 和 ANIL），以通过从相关任务迁移学习来提升图神经网络性能。我们发现 MAML 与 FO-MAML 确实使图神经网络优于基于指纹的模型，从而为即便在数据极度受限的设定下使用图神经网络提供了路径。与先前工作相反，我们发现 ANIL 在此分子设定下表现劣于其他元学习方法。我们的结果表明两个原因：分子机器学习任务可能需要显著的任务特定适配，且测试任务相对于训练任务的分布偏移可能导致 ANIL 性能更差。
引用
@article{arxiv.2011.12203,
title = {Making Graph Neural Networks Worth It for Low-Data Molecular Machine Learning},
author = {Aneesh Pappu and Brooks Paige},
journal= {arXiv preprint arXiv:2011.12203},
year = {2020}
}