基于乘积单元的深度残差学习
计算机视觉与模式识别
2025-05-09 v1 人工智能
机器学习
图像与视频处理
摘要
我们提出了一种深度乘积单元残差神经网络（PURe），该网络将乘积单元集成到残差块中，以提高深度卷积网络的表达能力和参数效率。与标准的加法神经元不同，乘积单元能够实现乘性特征交互，从而有可能为复杂模式提供更强大的表示。PURe 在每个残差块的第二层中用二维乘积单元替代了传统卷积层，并消除了非线性激活函数以保留结构信息。我们在三个基准数据集上验证了 PURe。在 Galaxy10 DECaLS 上，PURe34 达到了 84.89% 的最高测试准确率，超越了深得多的 ResNet152，同时收敛速度近乎快五倍，并展现出对 Poisson 噪声的强鲁棒性。在 ImageNet 上，PURe 架构在相似深度下优于标准 ResNet 模型，其中 PURe34 达到了 80.27% 的 top-1 准确率和 95.78% 的 top-5 准确率，超越了更深的 ResNet 变体（ResNet50、ResNet101），同时使用的参数和计算资源显著更少。在 CIFAR-10 上，PURe 在不同深度下均优于 ResNet 变体，其中 PURe272 达到了 95.01% 的测试准确率，与 ResNet1001 相当，但模型大小不到其一半。这些结果表明，PURe 在准确率、效率和鲁棒性之间取得了良好的平衡。与传统残差网络相比，PURe 不仅以更快的收敛速度和更少的参数实现了极具竞争力的分类性能，还表现出更强的抗噪鲁棒性。其在不同数据集上的有效性凸显了基于乘积单元的架构在计算机视觉领域实现可扩展且可靠的深度学习的潜力。
引用
@article{arxiv.2505.04397,
title = {Deep residual learning with product units},
author = {Ziyuan Li and Uwe Jaekel and Babette Dellen},
journal= {arXiv preprint arXiv:2505.04397},
year = {2025}
}