专用变换在神经算子中究竟有多重要?
机器学习
2023-08-21 v1 人工智能
计算工程、金融与科学
偏微分方程分析
摘要
使用偏微分方程(PDE)模拟物理系统已成为现代工业流程优化不可或缺的一部分。传统上,数值求解器被用于求解相关 PDE,但近来基于变换的神经算子(如傅里叶神经算子和 wavelet 神经算子)因有望为 PDE 系统提供快速解而备受关注。在这项工作中,我们研究了变换层对于基于变换的神经算子所报告成功的重要性。具体而言,我们记录了若将所有变换层替换为可学习线性层时在性能上的代价。令人惊讶的是,我们观察到线性层足以提供与已知最佳基于变换的层相媲美的性能,且似乎还具有计算时间上的优势。我们认为该观察对未来神经算子的研究具有重要意义,并可能指向这些架构中其他效率来源。
引用
@article{arxiv.2308.09293,
title = {How important are specialized transforms in Neural Operators?},
author = {Ritam Majumdar and Shirish Karande and Lovekesh Vig},
journal= {arXiv preprint arXiv:2308.09293},
year = {2023}
}
备注
8 pages, 3 figures, 4 tables