傅里叶分析网络工作原理？机制分析与新的双激活层提议
摘要
傅里叶分析网络 (Fourier Analysis Network, FAN) 近期被提出作为通过用正弦和余弦函数取代部分整流线性单元 (ReLU) 激活函数来提高神经网络性能的简单方法。尽管已有多个研究报告在各种任务上实现小幅但持续的性能提升，但背后的机制仍不清晰。本文证明，只有正弦激活函数对性能有正面贡献，而余弦激活函数则往往具有破坏性。我们的分析揭示，性能提升并非源于正弦函数的周期性特性；相反，它源于该函数在 x=0 附近的局部行为——其非零导数缓解了梯度消失问题。我们进一步表明，FAN主要缓解了 dying-ReLU 问题，即神经元持续接收负输入、产生零梯度并停止学习。尽管现代 ReLU 类激活函数，如 Leaky ReLU、GELU 和 Swish，已减少 ReLU 的零梯度区域，但仍存在输入域中梯度显著减弱的现象，这会导致优化缓慢并阻碍快速收敛。FAN 通过引入更稳定的梯度通道来解决这一局限。本分析将对 FAN 效益的理解从谱解释转向对训练动力学的具体分析，从而发展出一种更高效的收敛加速器——双激活层 (Dual-Activation Layer, DAL)。我们在三个任务上评估了 DAL：噪声正弦信号与纯噪声的分类、MNIST 手写数字分类以及基于电生理信号 (ECG) 的生物识别。所有情况下，DAL 模型都实现了更快的收敛速度，并在验证准确率上优于或等于采用常规激活函数的模型。
引用
@article{arxiv.2512.14873,
title = {How Does Fourier Analysis Network Work? A Mechanism Analysis and a New Dual-Activation Layer Proposal},
author = {Sam Jeong and Hae Yong Kim},
journal= {arXiv preprint arXiv:2512.14873},
year = {2026}
}
备注
Received 16 December 2025, accepted 9 February 2026, date of publication 18 February 2026. This work is an enhanced version of the article accepted and published in IEEE Access. Date of current version 4 March 2026