物理信息神经算子能否自我改进？
机器学习
2023-11-27 v1 人工智能
偏微分方程分析
摘要
自训练技术在许多深度学习模型和任务中已展现出显著价值。然而，在用于学习偏微分方程系统快速求解器（例如神经算子）的背景下，此类技术仍基本未被探索。在本工作中，我们探索了自训练在傅里叶神经算子（FNO）上的应用。神经算子作为一种数据驱动技术出现，但来自实验或传统求解器的数据并非总是易于获取。物理信息神经算子（PINO）通过利用物理损失进行训练克服了这一限制，然而无数据训练的 PINO 的精度无法匹配使用数据训练所获得的性能。在本工作中，我们展示了自训练可用于缩小这一性能差距。我们考察了典型示例，即一维 Burgers 和二维 Darcy 偏微分方程，以展示自训练的有效性。具体而言，仅通过自训练以物理损失训练的 FNO，相比以数据和物理损失共同训练的 FNO，在 Burgers 上接近 1.07 倍，在 Darcy 上接近 1.02 倍。此外，我们发现伪标签可用于自训练，而不必在每次迭代中都训练至收敛。其结果是，我们能够发现自训练调度策略，在精度和耗时方面均优于 PINO 的基线性能。
引用
@article{arxiv.2311.13885,
title = {Can Physics Informed Neural Operators Self Improve?},
author = {Ritam Majumdar and Amey Varhade and Shirish Karande and Lovekesh Vig},
journal= {arXiv preprint arXiv:2311.13885},
year = {2023}
}
备注
Paper accepted as a Spotlight talk at Symbiosis of Deep Learning and Differential Equations, Neural Information Processing Systems 2023