KD-PINN：面向超低延迟实时神经 PDE 求解器的知识蒸馏 PINN
机器学习
2025-12-17 v2 数值分析
数值分析
摘要
本工作提出了知识蒸馏物理信息神经网络（KD-PINN），这是一个通过持续自适应 Kullback-Leibler 散度将高容量教师模型的预测精度迁移至紧凑学生模型的框架。为验证其对各种动力学与维度的通用性，该框架在一组具有代表性的偏微分方程（PDE）上进行了评估。在所考察的基准测试中，学生模型在保持精度的同时实现了从 x4.8（Navier-Stokes）到 x6.9（Burgers）的推理加速。在模型经过适当调优后，精度提升了约 1%。蒸馏过程还展现出正则化效应。在 CPU 上达到 5.3 ms 的平均推理延迟后，蒸馏模型进入了由低于 10 ms 性能所定义的超低延迟实时范畴。最后，本研究探讨了知识蒸馏如何降低 PINN 的推理延迟，以助力开发精确的超低延迟神经 PDE 求解器。
引用
@article{arxiv.2512.13336,
title = {KD-PINN: Knowledge-Distilled PINNs for ultra-low-latency real-time neural PDE solvers},
author = {Karim Bounja and Lahcen Laayouni and Abdeljalil Sakat},
journal= {arXiv preprint arXiv:2512.13336},
year = {2025}
}