中文

QuadNorm:面向神经算子分辨率鲁棒的归一化方法

机器学习 2026-05-11 v1 计算工程、金融与科学 数值分析 数值分析

摘要

神经算子中的归一化层通常通过对离散网格值进行均匀平均来计算统计数据,使归一化本身依赖于离散化,从而成为跨不同分辨率或网格传输误差的来源。为实现离散化鲁棒性,我们引入了 quadrature 归一化系列,取代现有均匀平均方式:QuadNorm 与 BlendQuadNorm。在端点包含的均匀网格上,提议的 quadrature 矩在不同离散化间为 O(h2)O(h^2) -一致的,这意味着其跨分辨率偏差随网格间距的平方衰减。随后,一个传输误差界预测了归一化引起的偏差如何随分辨率差距与网络深度成比例缩放。实验结果显示,传输误差界所预测的 gap 与深度缩放趋势在实验中得到了验证。在 Darcy 数据集上,QuadNorm 在所有测试的目标分辨率从 64264^22562256^2 均实现最佳的跨分辨率性能;在真实数据基准上,带有 QuadNorm 的 Transolver 实现了近乎分辨率不变的传输。最大收益出现在非周期 PDE 与非谱特征结构上,其中也可见本征分辨率的改进。我们还验证了 BlendQuadNorm,其在周期 FNO 设置下保持接近 LayerNorm 行为,作为保守的默认选项。这些结果识别出归一化作为神经算子分辨率依赖性的Previously 被忽视的来源。

关键词

引用

@article{arxiv.2605.07375,
  title  = {QuadNorm: Resolution-Robust Normalization for Neural Operators},
  author = {Bum Jun Kim and Makoto Kawano and Yusuke Iwasawa and Yutaka Matsuo},
  journal= {arXiv preprint arXiv:2605.07375},
  year   = {2026}
}

备注

42 pages, 8 figures