频率正则化：限制卷积神经网络的信息冗余

卷积神经网络已在诸多计算机视觉任务中展现出令人印象深刻的成果。然而，这些网络规模的增长引发了对其参数过多导致信息过载的担忧。本文提出频率正则化，以限制网络参数在频域中的非零元素。所提方法在张量级操作，可应用于几乎所有网络架构。具体而言，将参数张量维持在频域，通过之字形将张量元素置零以消除高频分量。随后，使用逆离散余弦变换（IDCT）重构空间张量，供网络训练期间矩阵运算使用。由于图像高频分量已知不太关键，采用所提频率正则化训练网络时可将很大比例的参数置零。在LeNet、Alexnet、VGG、Resnet、ViT、UNet、GAN和VAE等多种SOTA网络架构上的综合评估证明了频率正则化的有效性。在精度下降极小（小于2%）的情况下，0.4M参数的LeNet5仅需776个float16数表示（缩减超1100$\times$），34M参数的UNet仅需759个float16数表示（缩减超80000$\times$）。特别地，UNet原始模型大小为366MB，我们将其压缩至4.5kb。