谱门控网络
机器学习
2026-02-10 v1 人工智能
摘要
门控机制无处不在，但在前馈网络中还有一个互补问题：如何在不牺牲稳定性和可扩展性的前提下引入频率丰富的表达性？这种张力在基于样条的 Kolmogorov-Arnold 网络(KAN)参数化中体现为网格细化可导致参数增长和高维优化脆弱。在引入保持稳定性的方式来注入频谱容量于现有 MLP/FFN 层下固定参数和训练预算方面，我们提出谱门控网络(SGN)，一种即插即用的频谱重参数化。SGN 通过可训练的随机傏里叶特征(学习频率和相位)实现紧凑的频谱路径，取代网格基准样条并消除分辨率依赖性。进一步地，采用混合 GELU-傏里哈尔公式提高了优化鲁棒性并增强了高频保真度。在视觉、NLP、音频和 PDE 基准测试中，SGN 在可比计算预算下持续改进准确性-效率权衡，在 CIFAR-10 上达到 93.15% 的准确率，并比基于样条的 KAN 变体快达 11.7 倍。代码和训练好的模型将发布。
引用
@article{arxiv.2602.07679,
title = {Spectral Gating Networks},
author = {Jusheng Zhang and Yijia Fan and Kaitong Cai and Jing Yang and Yongsen Zheng and Kwok-Yan Lam and Liang Lin and Keze Wang},
journal= {arXiv preprint arXiv:2602.07679},
year = {2026}
}