深度神经网络中基于分块 Walsh-Hadamard 变换的二值层

卷积已成为现代深度神经网络的核心操作。众所周知，卷积可在傅里叶变换域中实现。本文中，我们提出使用二值分块 Walsh-Hadamard 变换 (WHT) 代替傅里叶变换。我们使用基于 WHT 的二值层替换深度神经网络中的一些常规卷积层。本文中我们同时利用一维 (1-D) 和二维 (2-D) 二值 WHT。在 1-D 和 2-D 层中，我们计算输入特征图的二值 WHT，并使用通过将软阈值与 tanh 函数结合得到的非线性对 WHT 域系数去噪。去噪后，我们计算逆 WHT。我们用 1D-WHT 替换 $1\times 1$ 卷积层，2D-WHT 层可替换 3$\times$3 卷积层和 Squeeze-and-Excite 层。带可训练权重的 2D-WHT 层也可插入全局平均池化 (GAP) 层之前以辅助全连接层。以此方式，我们可在可训练参数略微减少的情况下显著减少可训练参数数量。本文将 WHT 层嵌入 MobileNet-V2、MobileNet-V3-Large 和 ResNet 中，以可忽略的精度损失显著减少参数数量。此外，根据我们的速度测试，在 NVIDIA Jetson Nano 实验中，2D-FWHT 层运行速度约为常规 $3\times 3$ 卷积的 24 倍，且 RAM 使用减少 19.51%。