逆狄利克雷加权实现物理信息神经网络的可靠训练

我们刻画并修正了在深度神经网络（如物理信息神经网络（PINNs））训练过程中，由具有尺度不平衡的多尺度动力学可能引发的一种失败模式。PINNs 是流行的机器学习模板，允许将物理方程模型与数据无缝集成。其训练等价于在一个数据保真度与目标方程保真度目标的加权和上求解优化问题。目标之间的冲突可能源于尺度不平衡、数据中的异方差性、物理方程的刚性，或顺序训练期间的灾难性干扰。我们解释了由此产生的训练病态，并提出了一种简单而有效的逆狄利克雷加权策略来缓解该问题。我们与神经网络的 Sobolev 训练进行比较，提供了解析 $\boldsymbol{\epsilon}$-最优训练的基线。我们在多种应用中展示了逆狄利克雷加权的有效性，包括一个主动湍流的多尺度模型，其中我们展示了相比常规 PINN 训练在精度和收敛性上数个数量级的提升。对于使用顺序训练的逆建模，我们发现逆狄利克雷加权保护 PINN 免受灾难性遗忘。