中文

多保真度数据上的迁移学习

数值分析 2021-05-04 v1 机器学习 数值分析

摘要

神经网络(NNs)常被用作描述复杂系统动力学的偏微分方程(PDEs)的代理模型或仿真器。此类代理模型几乎可忽略的计算成本使其成为基于集成计算的极具吸引力的工具,而后者需要大量重复的 PDE 求解。由于生成足够用于 NN 训练的数据同样需要这些求解,基于 NN 的代理模型的实用性取决于训练成本与部署所带来的计算增益之间的平衡。我们依靠多保真度模拟来降低数据生成成本,随后使用迁移学习训练深度卷积 NN(CNN)。高保真与低保真图像分别通过在细网格与粗网格上求解 PDE 生成。我们利用多层蒙特卡洛的理论结果来指导各类图像数量的选取。我们在估计感兴趣量分布的问题上展示了该多保真度训练策略的性能,该量的动力学由具有不确定/随机参数的非线性 PDE 系统(非均质多孔介质中多相流的抛物型 PDE)控制。我们的数值实验表明,数量相对较多的低保真数据与较少的高保真和低保真数据相混合,提供了计算加速与预测精度之间的最优平衡。前者相对于仅在高保真图像上训练 CNN 以及 PDE 的蒙特卡洛求解均有报道;后者通过 Wasserstein 距离与 Kullback-Leibler 散度表示。

关键词

引用

@article{arxiv.2105.00856,
  title  = {Transfer Learning on Multi-Fidelity Data},
  author = {Dong H. Song and Daniel M. Tartakovsky},
  journal= {arXiv preprint arXiv:2105.00856},
  year   = {2021}
}

备注

16 pages