傅里叶多分量和多层神经网络：解锁高频潜能
机器学习
2025-06-25 v2 机器学习
摘要
神经网络的架构和激活函数的选择都对其性能至关重要。同样重要的是确保这两者能够良好匹配，因为它们的一致性是实现有效表示和学习的关键。在本文中，我们引入了傅里叶多分量和多层神经网络（FMMNN），这是一种新型模型，能够在两者之间创建强大的协同作用。我们表明，FMMNNs在建模高频成分方面具有高度的有效性和灵活性。我们的理论结果表明，FMMNNs在函数逼近方面具有指数级的表达能力。我们还分析了FMMNNs的优化景观，发现其比标准全连接神经网络要更有利，尤其是在处理高频特征时。此外，我们提出了一种针对FMMNNs第一层权重的比例随机初始化方法，这显著加快了训练速度并提升了整体性能。广泛的数值实验支持我们的理论见解，表明FMMNNs在各种任务中的准确率和效率方面始终优于传统方法。
引用
@article{arxiv.2502.18959,
title = {Fourier Multi-Component and Multi-Layer Neural Networks: Unlocking High-Frequency Potential},
author = {Shijun Zhang and Hongkai Zhao and Yimin Zhong and Haomin Zhou},
journal= {arXiv preprint arXiv:2502.18959},
year = {2025}
}
备注
Our code and implementation details are available at https://github.com/ShijunZhangMath/FMMNN