面向偏微分方程的HyperLoRA
机器学习
2023-08-21 v1 人工智能
计算工程、金融与科学
偏微分方程分析
摘要
物理信息神经网络（PINNs）已被广泛用于开发偏微分方程解的神经网络代理模型。PINNs的一个缺陷是，初始边界条件与PDE系数每次变化都需重新训练。超网络（Hypernetwork）作为一种基于模型的元学习技术，以参数化任务嵌入为输入，预测PINN的权重作为输出。然而，预测神经网络的权重是一个高维回归问题，超网络在为大基底网络预测参数时表现次优。为规避此问题，我们采用低秩自适应（LoRA）公式将基底网络的每一层分解为低秩张量，并使用超网络预测这些低秩张量。尽管所得权重回归问题维度降低，基于LoRA的超网络违背了给定任务的底层物理。我们证明，当使用额外的物理信息损失项（HyperPINN）训练以满足控制微分方程时，基于LoRA的超网络的泛化能力得到大幅改善。我们观察到，基于LoRA的HyperPINN训练使我们能够为参数化PDE（如Burger方程与Navier Stokes：Kovasznay流）学习快速解，同时与所有其他基线相比，预测参数平均减少8倍且不牺牲精度。
引用
@article{arxiv.2308.09290,
title = {HyperLoRA for PDEs},
author = {Ritam Majumdar and Vishal Jadhav and Anirudh Deodhar and Shirish Karande and Lovekesh Vig and Venkataramana Runkana},
journal= {arXiv preprint arXiv:2308.09290},
year = {2023}
}
备注
8 pages, 4 figures, 3 Tables