异构环境下利用图神经网络进行分子性质的联邦学习
机器学习
2022-05-10 v3 化学物理
摘要
化学研究的实验在材料与计算上成本均很高。因此机构将化学数据视为宝贵资产，且少有构建用于机器学习的大型公共数据集的努力。另一挑战是不同研究者对不同类型的分子感兴趣，造成难以通过常规分布式训练轻易合并的异构数据。本工作中，我们引入联邦异构分子学习以应对这些挑战。联邦学习允许终端用户协作构建全局模型，同时将训练数据保留在隔离的客户端上分布。由于缺乏相关研究，我们首先通过对现有数据集联合进行骨架拆分与潜在狄利克雷分配来模拟异构分布的客户端数据，从而构建异构联邦学习基准（FedChem）。我们在 FedChem 上的结果表明，跨客户端处理异构分子时会出现显著的学习挑战。随后我们提出一种缓解该问题的方法，即基于样本重加权的联邦学习（FLIT(+)）。FLIT(+) 可通过提升不确定样本的性能来对齐异构客户端间的本地训练。在我们新基准 FedChem 上进行的全面实验验证了该方法相对于其他联邦学习方案的优势。FedChem 应能促进一种新型协作，以改进化学中的 AI，同时缓解对宝贵化学数据的担忧。
引用
@article{arxiv.2109.07258,
title = {Federated Learning of Molecular Properties with Graph Neural Networks in a Heterogeneous Setting},
author = {Wei Zhu and Jiebo Luo and Andrew White},
journal= {arXiv preprint arXiv:2109.07258},
year = {2022}
}