稀疏小型模型用于偏微分方程：S$^2$GPT-PINNs
机器学习
2025-06-23 v1 机器学习
摘要
我们提出SGPT-PINN，一种用于求解参数偏微分方程（PDEs）的稀疏小型模型。类似于小型语言模型（SLMs），SGPT-PINN针对特定（一族）偏微分方程进行领域定制，具有紧凑的架构和最小的计算需求。通过利用数学严谨的贪婪算法获取的少量高质量数据（该算法由大规模全秩模型启用），SGPT-PINN仅需比传统PINN参数数量少几个数量级，即可通过两种定制化机制实现极高效率。第一种是通过来自预训练PINN的任务特定激活函数进行知识蒸馏；第二种是计算网络物理信息损失时进行合理的下采样，将数据站点数量按数量级压缩至小型模型的规模。
引用
@article{arxiv.2506.15687,
title = {S$^2$GPT-PINNs: Sparse and Small models for PDEs},
author = {Yajie Ji and Yanlai Chen and Shawn Koohy},
journal= {arXiv preprint arXiv:2506.15687},
year = {2025}
}
备注
17 pages,6 figures