一种用于训练极小极大架构物理约束神经网络的对偶二聚体方法
机器学习
2021-01-12 v2 机器学习
摘要
数据稀疏性是训练神经网络等机器学习工具用于工程与科学应用时的常见问题，其中实验与仿真代价高昂。近来物理约束神经网络（PCNNs）被开发以缩减所需训练数据量。然而，PCNNs 中来自数据与物理约束的不同损失的权重是凭经验调整的。本文提出一种具有极小极大架构的新型物理约束神经网络（PCNN-MM），使不同损失的权重可系统调整。PCNN-MM 的训练是搜索目标函数的高阶鞍点。我们开发了一种称为对偶二聚体（Dual-Dimer）方法的新型鞍点搜索算法。结果表明，对偶二聚体方法对于非凸非凹函数比梯度下降上升法计算更高效，并提供额外的特征值信息以验证搜索结果。一个传热算例也显示 PCNN-MM 的收敛快于传统 PCNN。
引用
@article{arxiv.2005.00615,
title = {A Dual-Dimer Method for Training Physics-Constrained Neural Networks with Minimax Architecture},
author = {Dehao Liu and Yan Wang},
journal= {arXiv preprint arXiv:2005.00615},
year = {2021}
}
备注
34 pages, 5 figures, accepted by neural networks