零坐标偏移：面向物理信息算子学习的磨利自动微分
机器学习
2024-03-15 v3 人工智能
数值分析
数值分析
计算物理
摘要
自动微分（AD）是物理信息机器学习中的关键步骤，用于计算网络输出关于配置点坐标的高阶导数。本文提出一种新颖且轻量的算法来为物理信息算子学习执行 AD，我们称之为零坐标偏移（ZCS）技巧。ZCS 不为所有采样坐标创建叶变量，而是为每个空间或时间维度仅引入一个标量值叶变量，将所需导数从“多根多叶”简化为“一根多叶”，从而使反向模式 AD 可直接使用。它通过避免沿函数（物理参数）维度对计算图进行复制，带来了卓越的性能飞跃。ZCS 易于用当前深度学习库实现；我们自身的实现通过扩展 DeepXDE 包完成。我们进行了全面的基准分析和若干案例研究，训练物理信息 DeepONet 在无数据情况下求解偏微分方程（PDEs）。结果表明，ZCS 持续将训练的 GPU 内存消耗和挂钟时间降低一个数量级，且该降低因子随函数数量而缩放。作为一种底层优化技术，ZCS 对数据、物理（PDE）或网络架构无任何限制，且不会在任何方面损害训练结果。
引用
@article{arxiv.2311.00860,
title = {Zero Coordinate Shift: Whetted Automatic Differentiation for Physics-informed Operator Learning},
author = {Kuangdai Leng and Mallikarjun Shankar and Jeyan Thiyagalingam},
journal= {arXiv preprint arXiv:2311.00860},
year = {2024}
}
备注
Published in Journal of Computational Physics. https://doi.org/10.1016/j.jcp.2024.112904