深度神经网络中基于快速 Walsh-Hadamard 变换与平滑阈值的二值层

本文提出一种基于快速 Walsh-Hadamard 变换（WHT）与平滑阈值的新型层，以替换深度神经网络中的 $1\times 1$ 卷积层。在 WHT 域中，我们使用新的平滑阈值非线性（知名软阈值算子的平滑版本）对变换域系数去噪。我们还引入一组从无乘性算子的基础 2$\times$2 Hadamard 变换到实现 $3\times 3$ 深度可分离卷积层的算子族。利用这两类层，我们替换 MobileNet-V2 中的瓶颈层，以轻微精度损失减少网络参数量。例如，替换最后第三个瓶颈层，我们将参数量从 2.270M 减至 540K，在 CIFAR-10 数据集上精度从 95.21\% 降至 92.98\%。我们的方法显著提升数据处理速度。快速 Walsh-Hadamard 变换计算复杂度为 $O(m\log_2 m)$，因此在计算上比 $1\times1$ 卷积层更高效。在 NVIDIA Jetson Nano 计算机板上，快速 Walsh-Hadamard 层处理 $\mathbb{R}^{10\times32\times32\times1024}$ 张量比 $1\times1$ 卷积层快约 2 倍。