正弦表示网络的谱瓶颈：噪声才是关键因素
音频与语音处理
2025-12-24 v2 计算机视觉与模式识别
机器学习
声音
图像与视频处理
摘要
本文识别并尝试解决隐式神经表示中使用正弦激活函数的根本性局限。SIREN的拟合误差对目标频率内容及初始化方式高度敏感。在极端情况下，这种敏感性导致谱瓶颈，进而可能导致输出为零。通过分析激活谱的演化及经验神经切向核（NTK），我们特征化了这一现象。能量在频率模式分布不均时，即会引发此失效模式。我们进一步检验了对基线均匀初始化权重施加的高斯扰动，探讨其对激活谱及SIREN NTK特征向量的影响。总体而言，初始化成为支配SIREN演化的核心因素，表明随目标长度增加和细节细化需求升高，亟需基于目标的自适应初始化策略。我们提出的权重初始化方案（WINNER）代表了此方向的简单妥协方案，证明通过针对性地调整网络激活的谱配置，可显著提升拟合精度。该方法在音频拟合任务上实现了最新进展，并在图像拟合任务中取得显著改进。
引用
@article{arxiv.2509.09719,
title = {Spectral Bottleneck in Sinusoidal Representation Networks: Noise is All You Need},
author = {Hemanth Chandravamsi and Dhanush V. Shenoy and Itay Zinn and Ziv Chen and Shimon Pisnoy and Steven H. Frankel},
journal= {arXiv preprint arXiv:2509.09719},
year = {2025}
}