面向高分辨率学习的目标噪声：一种基于预训练的神经网络初始化方法

权重初始化在神经网络的优化行为和收敛效率中发挥着关键作用。大多数现有初始化方法，如 Xavier 和 Kaiming 初始化，依赖随机抽样，未能利用优化过程本身的信息。我们提出一种简单而有效的初始化策略，基于自监督预训练，使用随机噪声作为目标。不直接从随机权重训练网络，而是首先预训练以拟合随机噪声，这导致结构化且非随机的参数配置。我们表明，这种噪声驱动的预训练显著改进了后续任务的收敛速度，且无需额外数据或网络架构变更。该方法在隐式神经表征（INR）和深度图像先验（DIP）风格网络上尤为有效，这些网络在优化过程中已知具有强低频偏置。在噪声基预训练后，网络能够更早地捕获高频分量，从而实现更快更稳定的收敛。虽然随机噪声不包含语义信息，但它作为自监督信号（考虑其白谱特性）为神经网络的初始化提供了有效的引导。总体而言，本工作表明，噪声驱动的预训练为神经网络的初始化提供了一种轻量且通用的替代方案，使深度神经网络的优化更为高效。