利用专家混合扩展物理信息硬约束

在神经网络训练期间施加已知的物理约束（如守恒律）会引入归纳偏置，从而提高建模物理动力学的准确性、可靠性、收敛性和数据效率。虽然可以通过损失函数惩罚来软性施加此类约束，但可微分物理和优化方面的最新进展通过将 PDE 约束优化作为神经网络中的独立层纳入，提高了性能。这使得对物理约束的遵守更加严格。然而，施加硬约束会显著增加计算和内存成本，特别是对于复杂的动力学系统。这是因为它需要在代表空间和时间离散化的大量网格点上求解优化问题，从而极大地增加了约束的复杂性。为了解决这一挑战，我们开发了一种可扩展的方法，利用专家混合（MoE）来强制执行硬物理约束，该方法可与任何神经网络架构一起使用。我们的方法在较小的分解域上施加约束，每个域由一个“专家”通过可微分优化求解。在训练期间，每个专家利用隐函数定理独立执行局部反向传播步骤；每个专家的独立性允许在多个 GPU 上进行并行化。与标准的可微分优化相比，我们的可扩展方法在预测具有挑战性的非线性系统动力学的神经 PDE 求解器设置中实现了更高的准确性。我们还提高了训练稳定性，并在训练和推理阶段都需要显著更少的计算时间。