基于拉格朗日对偶的理论引导深度神经网络
机器学习
2022-06-14 v1 最优化与控制
机器学习
摘要
理论引导神经网络(TgNN)是一类通过融入科学知识或物理信息来提升神经网络架构效果与效率的方法。尽管已取得巨大成功，理论引导(深度)神经网络在训练过程中维持训练数据与领域知识间的权衡时存在一定局限。本文提出基于拉格朗日对偶的TgNN(TgNN-LD)以提升TgNN的有效性。我们将原始损失函数转化为含更少项的约束形式，其中偏微分方程(PDEs)、工程控制(ECs)与专家知识(EK)被视为约束，每项约束对应一个拉格朗日变量。这些拉格朗日变量被引入以在观测数据与相应约束间实现公平权衡，从而提高预测精度，并节省由特定程序调整的时间与计算资源。为探究所提方法性能，我们在地下水流问题上将经特定程序调整一组优化权值的原始TgNN模型与之比较，分析了其L2误差、R平方(R2)与计算时间。实验结果表明基于拉格朗日对偶的TgNN具有优越性。
引用
@article{arxiv.2008.10159,
title = {A Lagrangian Dual-based Theory-guided Deep Neural Network},
author = {Miao Rong and Dongxiao Zhang and Nanzhe Wang},
journal= {arXiv preprint arXiv:2008.10159},
year = {2022}
}
备注
12 pages, 10 figures