正弦神经网络中控制梯度的新初始化方法
机器学习
2026-05-12 v2
摘要
适当的初始化策略对于缓解神经网络训练中的梯度爆炸或消失至关重要。然而，对于若干已建立的架构，初始化参数的影响仍然缺乏精确的理论理解。在这里，我们提出了一种用于具有正弦激活函数（如SIREN）的网络的新初始化方法，重点关注梯度控制、其随网络深度的缩放、对训练的影响以及泛化能力。为此，我们识别出了参数初始化的闭式表达式，这与原始SIREN方案不同。该表达式源自通过预激活分布收敛和雅可比序列方差获得的不动点。通过控制梯度和针对消失的预激活，有助于防止估计过程中不适当频率的出现，从而提高泛化能力。我们进一步表明，该初始化通过神经正切核（NTK）框架强烈影响训练动力学。最后，我们在函数拟合和图像重建任务上，将采用所提出初始化的SIREN与原始方案及其他基线进行了基准测试。新初始化在一系列重建任务上持续优于最先进方法，包括涉及物理信息神经网络的任务。
引用
@article{arxiv.2512.06427,
title = {A new initialisation to Control Gradients in Sinusoidal Neural network},
author = {Andrea Combette and Antoine Venaille and Nelly Pustelnik},
journal= {arXiv preprint arXiv:2512.06427},
year = {2026}
}