F-适配器：科学机器学习中的频率自适应参数高效微调
机器学习
2025-10-20 v2
摘要
参数高效微调（PEFT）已在视觉和语言处理中证明有效,但在科学机器学习中尚未得到探索,而后者旨在建模复杂物理系统。我们对PEFT用于通过标量放大Fourier神经算子获得的大型算子模型（LOM）进行首次系统性研究。首先,我们发现广泛使用的低秩适应（LoRA）在LOM上性能远低于适配器微调。进一步地,我们理论上表明,堆叠式LoRA在Fourier层中导致深度放大后的近似误差下界,而适配器保持通用逼近能力,通过在能量主导的低频模式上集中参数,在Fourier域中实现随瓶颈宽度指数衰减的误差。鼓励采用适配器带来的稳健实证收益,并通过我们对偏微分方程解的谱稀疏性进行理论表述,我们引入频率自适应适配器（F-适配器）。F-适配器根据谱复杂性分配适配器容量,为低频分量分配高维模块,为高频分量分配低维模块。我们的F-适配器在多个具有挑战性的3D Navier-Stokes基准测试中实现了最先进（SOTA）结果,显著提升了泛化性和谱保真度,超越LoRA和其他常用于大语言模型的PEFT技术。就我们知识而言,本工作是首次探索科学机器学习中的PEFT,确立F-适配器作为该领域有效范式。
引用
@article{arxiv.2509.23173,
title = {F-Adapter: Frequency-Adaptive Parameter-Efficient Fine-Tuning in Scientific Machine Learning},
author = {Hangwei Zhang and Chun Kang and Yan Wang and Difan Zou},
journal= {arXiv preprint arXiv:2509.23173},
year = {2025}
}
备注
NeurIPS 2025 Main Track