FreqMoE：神经PDE求解器的动态频率增强
机器学习
2025-05-22 v2
摘要
傅里叶神经算子 (FNO) 已成为通过频率域转换学习无限维函数映射来高效求解偏微分方程 (PDE) 的有前景的解决方案。然而,高频信号稀疏性限制了高维输入的计算效率,且固定模式的截断常导致高频信号丢失,在高分辨率输入或长期预测场景中影响性能。为此,我们提出 FreqMoE,一个高效且渐进式的训练框架,利用高频信号对低频分量的依赖。模型首先学习低频权重,然后应用稀疏向上循环策略在频率域构建专家混合 (MoE),有效将已学习的权重扩展到高频区域。在规则和非规则网格的 PDE 上进行实验表明,FreqMoE 在使用仅2.1%参数（47.32倍减少）的情况下,实现了最高16.6%的精度提升。此外,该方法在长期预测中表现出卓越的稳定性,并能无缝推广到各种 FNO 变体和网格结构,为求解 PDE 建立了新的“低频预训练、高频微调”范式。
引用
@article{arxiv.2505.06858,
title = {FreqMoE: Dynamic Frequency Enhancement for Neural PDE Solvers},
author = {Tianyu Chen and Haoyi Zhou and Ying Li and Hao Wang and Zhenzhe Zhang and Tianchen Zhu and Shanghang Zhang and Jianxin Li},
journal= {arXiv preprint arXiv:2505.06858},
year = {2025}
}
备注
Accepted by IJCAI 2025