节省一个神经元即赚得一个神经元：论二次网络的参数效率

受生物神经系统中神经元多样性的启发，大量研究提出设计新型人工神经元并将神经元多样性引入人工神经网络。近期提出的二次神经元将常规神经元中的内积运算替换为二次运算，已在许多基本任务中取得巨大成功。尽管二次神经元结果可观，仍存在未解决的问题：\textit{二次网络的优越性能仅仅源于参数增加，还是源于其内在表达能力？} 若不澄清此问题，二次网络的性能始终存疑。此外，解决此问题可归结为寻找二次网络的杀手级应用。本文通过理论与实证研究，表明二次网络具有参数效率，从而确认二次网络的优越性能源于内在表达能力。这种内在表达能力来自二次神经元可轻易表示非线性交互，而常规神经元难以做到。理论上，我们推导了二次网络相对常规网络在实数空间与流形上的逼近效率。此外，从 Barron 空间视角，我们证明存在一个函数空间，其函数可被二次网络以与维度无关误差逼近，而常规网络的逼近误差依赖于维度。实证上，在合成数据、经典基准和真实应用上的实验结果表明二次模型广泛具有参数效率，且效率增益取决于任务。