物理信息神经网络中的梯度对齐：一种二阶优化视角
机器学习
2025-09-22 v2 人工智能
计算物理
摘要
通过复合损失函数进行多任务学习是现代深度学习的基础，然而优化相互竞争的目标仍然具有挑战性。我们提出了解决损失项之间方向冲突的新理论和实践方法，并展示了它们在物理信息神经网络（PINNs）中的有效性，这类网络中的冲突尤其难以解决。通过理论分析，我们展示了这些冲突如何限制一阶方法，并表明二阶优化通过隐式梯度对齐自然地解决了它们。我们证明，最近提出的拟牛顿方法 SOAP 能高效地近似 Hessian 预条件子，从而在 PINNs 中实现了突破性性能：在 10 个具有挑战性的偏微分方程基准测试上取得了最先进的结果，包括首次成功应用于雷诺数高达 10,000 的湍流，精度比现有方法提高了 2-10 倍。我们还引入了一种新颖的梯度对齐分数，它将余弦相似度推广到多个梯度，为分析优化动力学提供了实用工具。我们的发现建立了理解和解决梯度冲突的框架，对科学计算以外的优化具有广泛意义。
引用
@article{arxiv.2502.00604,
title = {Gradient Alignment in Physics-informed Neural Networks: A Second-Order Optimization Perspective},
author = {Sifan Wang and Ananyae Kumar Bhartari and Bowen Li and Paris Perdikaris},
journal= {arXiv preprint arXiv:2502.00604},
year = {2025}
}
备注
39 pages, 22 figures