用于图网络的气曲率感知多任务学习
机器学习
2022-08-04 v1 人工智能
机器学习
摘要
晶体与分子的相关性质（如带隙、弹性与溶解度）通常彼此关联：它们受相同的底层物理定律支配。然而，当最先进的图神经网络试图同时预测多个性质（多任务学习（MTL）设定）时，其性能常逊于一组单性质预测器。这表明图网络可能未充分利用这些底层相似性。本文探讨该现象的一个潜在解释：各性质损失曲面的曲率差异显著，导致学习效率低下。这种曲率差异可通过考察各性质损失函数 Hessian 矩阵的谱性质来评估，并以无矩阵方式借助随机数值线性代数完成。我们在两个基准数据集（Materials Project (MP) 与 QM8）上验证假设，并思考这些发现如何指导新型多任务学习模型的训练。
引用
@article{arxiv.2208.01684,
title = {Curvature-informed multi-task learning for graph networks},
author = {Alexander New and Michael J. Pekala and Nam Q. Le and Janna Domenico and Christine D. Piatko and Christopher D. Stiles},
journal= {arXiv preprint arXiv:2208.01684},
year = {2022}
}
备注
Published at the ICML 2022 AI for Science workshop: https://openreview.net/forum?id=m5RYtApKFOg