频率原理总是有效吗？

我们研究浅层 ReLU 神经网络在单位球面 $S^2\subset\mathbb{R}^3$ 上的学习动力学，使用极坐标 $(\tau,\phi)$，考虑固定和可训练的神经元方向 $\{w_i\}$。对于固定权重，球谐展开揭示了固有的低频偏好，系数衰减为 $O(\ell^{5/2}/2^\ell)$，通常导致低频优先学习的频率原理 (FP)。然而，在特定初始条件或误差分布下，该原理可能被违反。对于可训练权重，谐波演化方程中额外的旋转项保持指数衰减，衰减阶为 $O(\ell^{7/2}/2^\ell)$，同样导致低频优先学习的频率原理。但和固定权重一样，在特定初始条件或误差分布下，该原理也可能被违反。我们的数值结果表明，可训练方向增加了学习复杂度，既可以维持低频优势，也可以实现更快的高频出现。该分析表明，频率原理应被视为在类似 $S^2$ 的曲面域上具有趋势性的现象，而非绝对规则，这提供了关于方向更新和谐波展开如何塑造频率相关学习的洞见。