用于函数逼近与微分方程求解的联邦科学机器学习
机器学习
2024-10-18 v1 计算物理
摘要
通过利用神经网络，科学机器学习（SciML）这一新兴领域提供了解决部分微分方程（PDE）所 govern 的复杂问题的新方法。在实际应用中，由于数据分布式、隐私 concerns 或大量数据传输的不可行性，面临着数据孤岛和敏感数据问题。联邦学习（FL）——一种在保持数据隐私的同时实现全局模型协同训练的去中心化框架——为解决孤立数据池和敏感数据问题提供了解决方案。本文探索了联邦学习与科学机器学习的集成，以函数逼近和求解微分方程。我们提出了两种新模型：联邦物理驱动神经网络（FedPINN）和联邦深度算子网络（FedDeepONet）。我们进一步引入了各种数据生成方法以控制非独立同分布（non-iid）数据的程度，并利用1- Wasserstein距离来量化函数逼近和PDE学习中的数据异构性。我们系统性地研究了数据异构性与联邦模型性能之间的关系。此外，我们提出了权重发散的度量，并发展了一个理论框架，以建立联邦学习中权重发散的增长界限，与传统集中式学习进行比较。为展示所提方法的有效性，我们进行了10项实验，包括2项函数逼近实验、5项FedPINN的PDE问题实验和3项FedDeepONet的PDE问题实验。这些实验表明，我们提出的联邦方法优于仅使用本地数据训练的模型，并达到了使用所有数据训练的集中式模型的具竞争力的准确度。
引用
@article{arxiv.2410.13141,
title = {Federated scientific machine learning for approximating functions and solving differential equations with data heterogeneity},
author = {Handi Zhang and Langchen Liu and Lu Lu},
journal= {arXiv preprint arXiv:2410.13141},
year = {2024}
}