调节频率：正弦神经网络的鲁棒训练
机器学习
2025-04-07 v3 计算机视觉与模式识别
摘要
正弦神经网络已被证明作为低维信号的隐式神经表征（INR）有效，其平滑性和高表示容量是关键优势。然而，对其初始化和训练仍是经验性任务，缺乏深入理解以指导学习过程。为填补这一空白，我们的工作引入了一个理论框架，以解释正弦网络的容量特性，并提供用于初始化和训练的鲁棒控制机制。我们的分析基于正弦多层感知器的一种新型振幅相位展开，揭示了其图层组成如何产生大量由输入频率的整数组合表达的新频率。这种关系可直接用于初始化输入神经元，作为一种频谱抽样形式，并用于在训练期间对网络的频谱进行界限。我们称之为 TUNER（TUNing sinusoidal nEtwoRks）的方法，显著提高了正弦 INR 训练的稳定性和收敛性，实现细致的重建，同时防止过拟合。
引用
@article{arxiv.2407.21121,
title = {Tuning the Frequencies: Robust Training for Sinusoidal Neural Networks},
author = {Tiago Novello and Diana Aldana and Andre Araujo and Luiz Velho},
journal= {arXiv preprint arXiv:2407.21121},
year = {2025}
}
备注
CVPR2025 camera-ready + supplementary material