基于双保真度数据迁移学习的神经网络在不确定性传播中的应用
机器学习
2020-02-12 v1 机器学习
统计计算
摘要
由于其高度的表达能力，神经网络近来被用作将工程系统输入映射到关注输出的代理模型。一旦训练完成，神经网络的评估在计算上代价低廉，并消除了在不确定性量化应用中反复评估计算昂贵模型的需要。然而，鉴于神经网络高度参数化的构造，尤其是深度神经网络，准确的训练通常需要大量仿真数据，而在计算昂贵的系统情况下这些数据可能不可用。本文中，为缓解不确定性传播中的这一问题，我们探索了使用由高保真与低保真模型共同生成的训练数据的迁移学习技术的应用。我们探索了在训练过程中耦合这两类数据集的两种策略，即标准迁移学习与双保真加权学习。在前一种方法中，基于低保真数据训练一个将输入映射到关注输出的神经网络模型。然后利用高保真数据来调整低保真网络上层（或多层）的参数，或训练一个更简单的神经网络将低保真网络的输出映射到高保真模型。在后一种方法中，利用通过以小型高保真数据集训练的高斯过程模型所生成的数据来更新整个低保真网络参数。参数更新通过一种随机梯度下降的变体执行，其学习率由高斯过程模型给出。使用三个数值算例，我们说明了这些双保真迁移学习方法的有效性，重点关注迁移学习相较标准训练方法所实现的精度提升。
引用
@article{arxiv.2002.04495,
title = {On transfer learning of neural networks using bi-fidelity data for uncertainty propagation},
author = {Subhayan De and Jolene Britton and Matthew Reynolds and Ryan Skinner and Kenneth Jansen and Alireza Doostan},
journal= {arXiv preprint arXiv:2002.04495},
year = {2020}
}