傅里叶神经算子的多分辨率主动学习
机器学习
2024-04-01 v4
摘要
傅里叶神经算子(Fourier Neural Operator, FNO)是一种流行的算子学习框架。它不仅在许多任务中达到了最先进的性能,而且在训练和预测上都很高效。然而,在实践中为 FNO 收集训练数据可能是一个昂贵的瓶颈,因为它通常需要昂贵的物理模拟。为克服这一问题,我们提出了 FNO 的多分辨率主动学习(MRA-FNO),它能够动态选择输入函数与分辨率,在尽可能降低数据成本的同时优化学习效率。具体而言,我们提出了一种概率多分辨率 FNO,并利用集成蒙特卡洛(ensemble Monte-Carlo)开发了一种有效的后验推断算法。为进行主动学习,我们最大化效用-成本比作为采集函数,以在每一步获取新的样本与分辨率。我们利用矩匹配(matrix moment matching)与矩阵行列式引理(matrix determinant lemma)实现可处理且高效的效用计算。此外,我们开发了成本退火(cost annealing)框架,以避免在早期阶段对高分辨率查询的过度惩罚。当分辨率间成本差异显著时,这种过度惩罚会非常严重,导致主动学习常常陷入低分辨率查询并取得较差性能。我们的方法克服了该问题,并适用于一般的多保真度主动学习与优化问题。我们在多个基准算子学习任务中展示了方法的优势。代码见 https://github.com/shib0li/MRA-FNO。
引用
@article{arxiv.2309.16971,
title = {Multi-Resolution Active Learning of Fourier Neural Operators},
author = {Shibo Li and Xin Yu and Wei Xing and Mike Kirby and Akil Narayan and Shandian Zhe},
journal= {arXiv preprint arXiv:2309.16971},
year = {2024}
}