一种轻量且梯度稳定的神经层

为提升神经网络的资源效率与模型可部署性，我们提出一种基于 Householder 加权与绝对值激活的神经层架构，称为 Householder-absolute 神经层或简称 Han-layer。相较于具有 $d$ 个神经元与 $d$ 个输出的全连接层，Han-layer 将参数量及相应计算复杂度从 $O(d^2)$ 降至 $O(d)$。{Han-layer 结构保证层函数的 Jacobian 始终正交，从而确保任意 Han-layer 子网络的梯度稳定性（即无梯度消失或爆炸问题）。} 大量数值实验表明，可策略性地使用 Han-layer 替代全连接（FC）层，在减少模型参数量的同时保持甚至提升泛化性能。我们还将在一若干小型风格化模型上展示 Han-layer 架构的能力，并讨论其当前局限。