通过缩放初始化快速训练正弦神经场
机器学习
2026-02-04 v3 人工智能
摘要
神经场是一种新兴范式，它将数据表示为由神经网络参数化的连续函数。尽管有许多优势，但神经场通常具有较高的训练成本，这阻碍了其更广泛的应用。在本文中，我们关注一类流行的神经场，称为正弦神经场（SNF），并研究应如何初始化它以最大化训练速度。我们发现，基于信号传播原理设计的标准SNF初始化方案是次优的。特别地，我们表明，只需将每个权重（最后一层除外）乘以一个常数，就可以将SNF训练加速10倍。这种方法被称为“权重缩放”，在各种数据域中始终能提供显著的加速，使得SNF的训练速度比最近提出的架构更快。为了理解权重缩放为何有效，我们进行了广泛的理论和实证分析，揭示出权重缩放不仅能非常有效地解决谱偏差问题，而且还享有良好条件的优化轨迹。代码可在此处获取。
引用
@article{arxiv.2410.04779,
title = {Fast Training of Sinusoidal Neural Fields via Scaling Initialization},
author = {Taesun Yeom and Sangyoon Lee and Jaeho Lee},
journal= {arXiv preprint arXiv:2410.04779},
year = {2026}
}
备注
ICLR 2025