从平均场视角理解傅里叶神经算子的表达力与可训练性
机器学习
2024-09-27 v3
摘要
本文探讨了傅里叶神经算子（FNO）的表达力与可训练性。我们建立了 FNO 的平均场理论，从混沌边缘的视角分析随机 FNO 的行为。我们对随机 FNO 表达力的研究涉及基于权重分布考察网络的有序-混沌相变。该相变展现出由模态截断引起的 FNO 独有特征，同时也表现出与密集连接网络的相似性。此外，我们发现了表达力与可训练性之间的联系：有序相与混沌相分别对应于梯度消失与梯度爆炸的区域。该发现为 FNO 的稳定训练提供了实用的前提条件。我们的实验结果印证了理论发现。
引用
@article{arxiv.2310.06379,
title = {Understanding the Expressivity and Trainability of Fourier Neural Operator: A Mean-Field Perspective},
author = {Takeshi Koshizuka and Masahiro Fujisawa and Yusuke Tanaka and Issei Sato},
journal= {arXiv preprint arXiv:2310.06379},
year = {2024}
}