优化哪些超参数？图神经网络在分子性质预测中进化超参数优化的研究
机器学习
2021-04-15 v2
摘要
近来，图神经网络 (GNN) 的研究备受关注，并在分子性质预测中取得了令人瞩目的性能。大多数用于分子性质预测的 GNN 基于通过聚合邻居节点（如原子）信息来学习节点表示的思想而提出。随后，这些表示可传入后续层以处理特定的下游任务。因此，GNN 的架构可视为由两部分核心组成：图相关层与任务特定层。面对真实世界的分子问题，这些层的超参数优化至关重要。在这种情况下，超参数优化 (HPO) 变得昂贵，因为评估候选解需要大量计算资源来训练和验证模型。此外，更大的搜索空间往往使 HPO 问题更具挑战性。在本研究中，我们关注两类 GNN 超参数（属于图相关层的与属于任务特定层的）的选择对分子性质预测中 GNN 性能的影响。在我们的实验中，我们采用了一种最先进的进化算法（即 CMA-ES）进行 HPO。结果表明，分别优化这两类超参数可提升 GNN 的性能，但同时优化两类超参数将带来显著的改进。同时，我们的研究也进一步确认了 HPO 对于分子性质预测问题中 GNN 的重要性。
引用
@article{arxiv.2104.06046,
title = {Which Hyperparameters to Optimise? An Investigation of Evolutionary Hyperparameter Optimisation in Graph Neural Network For Molecular Property Prediction},
author = {Yingfang Yuan and Wenjun Wang and Wei Pang},
journal= {arXiv preprint arXiv:2104.06046},
year = {2021}
}