FAN：傅里叶分析网络
机器学习
2025-10-28 v6 人工智能
计算与语言
摘要
尽管通用神经网络（如MLP和Transformer）取得了显著的成功，但我们发现它们在建模和推理周期性现象方面存在明显不足，仅在训练域内实现有限性能，无法有效泛化到超出训练范围（OOD）的场景。周期性在自然界和科学中无处不在。因此，神经网络应具备建模和处理周期性的基本能力。在本工作中，我们提出了FAN，这是一种新型神经网络，有效解决了周期性建模挑战，同时保持类似MLP的广泛适用性，且参数更少、计算量更低。通过引入傅里叶原理，周期性自然地集成到FAN的结构和计算过程中。与现有傅里叶网络不同，后者虽具特定的周期性建模能力，但面临在更深层网络中扩缩放的挑战，通常为特定任务设计。我们的方案克服了这一挑战，使其能够扩展到大规模模型，同时保持通用建模能力。通过大量实验，我们展示了FAN在周期性建模任务中的卓越性能，以及其在广泛实际任务中的有效性和可泛化性。此外，我们发现与现有傅里叶网络相比，FAN能够同时兼顾周期性建模和通用建模。
引用
@article{arxiv.2410.02675,
title = {FAN: Fourier Analysis Networks},
author = {Yihong Dong and Ge Li and Yongding Tao and Xue Jiang and Kechi Zhang and Jia Li and Jinliang Deng and Jing Su and Jun Zhang and Jingjing Xu},
journal= {arXiv preprint arXiv:2410.02675},
year = {2025}
}
备注
Accepted to NeurIPS'25