欠参数化学生网络应复制还是平均教师网络的权重？

任意连续函数 $f^*$ 都可由具有足够多神经元 $k$ 的神经网络任意好地逼近。我们考虑 $f^*$ 本身是一个具有一层隐藏层和 $k$ 个神经元的神经网络的情况。因此，用具有 $n<k$ 个神经元的神经网络逼近 $f^*$ 可视为将一个具有 $n$ 个神经元的欠参数化“学生”网络拟合到一个具有 $k$ 个神经元的“教师”网络。由于学生网络的神经元少于教师网络，尚不清楚 $n$ 个学生神经元中的每一个应当复制某一个教师神经元，还是应当平均一组教师神经元。对于具有 erf 激活函数和标准高斯输入分布的浅层神经网络，我们证明当教师网络的输入向量正交归一且输出权重幺正时，“复制-平均”配置是临界点。此外，此类配置中的最优解在 $n-1$ 个学生神经元各自复制一个教师神经元、第 $n$ 个学生神经元平均剩余 $k-n+1$ 个教师神经元时达到。对于 $n=1$ 个神经元的学生网络，我们通过求解一个等价的约束优化问题，额外给出了常用激活函数下非平凡临界点的闭式解。实证上，我们发现对于 erf 激活函数，梯度流要么收敛到最优的复制-平均临界点，要么收敛到另一个每个学生神经元近似复制不同教师神经元的点。最后，我们对 ReLU 激活函数发现了类似结果，表明欠参数化网络的最优解具有普适结构。