中文

利用辅助学习与任务特定自适应增强分子性质预测

机器学习 2024-01-30 v1 人工智能

摘要

预训练图神经网络 (GNN) 已被广泛用于各种分子性质预测任务。尽管它们能够编码分子的结构和关系特征,但在目标任务上对这类预训练 GNN 进行传统微调可能导致泛化能力差。为解决此问题,我们探索了通过将预训练 GNN 与多个辅助任务联合训练,使其适应目标任务。这可以使 GNN 学习到通用和任务特定的特征,从而可能有益于目标任务。然而,一个主要挑战是确定辅助任务与目标任务的相关性。为解决此问题,我们研究了多种衡量辅助任务相关性的策略,并通过自适应地组合任务梯度或通过双层优化学习任务权重来整合这些任务。此外,我们提出了一种新颖的基于梯度手术的方法——冲突梯度旋转 (RCGrad\mathtt{RCGrad}),该方法学习通过旋转来对齐冲突的辅助任务梯度。我们使用最先进的预训练 GNN 进行的实验证明了所提方法的有效性,相比微调,性能提升高达 7.7%。这表明,将辅助任务与目标任务微调相结合,是提高预训练 GNN 在分子性质预测中泛化能力的有效途径。

关键词

引用

@article{arxiv.2401.16299,
  title  = {Enhancing Molecular Property Prediction with Auxiliary Learning and Task-Specific Adaptation},
  author = {Vishal Dey and Xia Ning},
  journal= {arXiv preprint arXiv:2401.16299},
  year   = {2024}
}