CoShNet:一种使用剪切波的复值混合神经网络
计算机视觉与模式识别
2022-11-01 v2
摘要
在混合神经网络中,昂贵的卷积层被不可训练的固定变换替代,从而大幅减少参数。在先前工作中,用波替换卷积取得了良好结果。然而,基于波的小波混合网络继承了小波沿曲线缺乏消失矩及其轴偏置的缺点。我们提出使用剪切波(Shearlets),其对边缘、脊线和斑点等重要图像特征具有鲁棒支持。由此得到的网络称为复剪切波网络(Complex Shearlets Network, CoShNet)。在 Fashion-MNIST 上对比 ResNet-50 与 ResNet-18 进行测试,其准确率为 92.2%,而二者分别为 90.7% 和 91.8%。所提网络具有 49.9k 参数,而 ResNet-18 为 11.18m,且使用的 FLOPs 减少 52 倍。最后,我们在不到 20 个 epoch 内完成训练,而 ResNet 需 200 个 epoch,且无需任何超参数调优或正则化。代码:https://github.com/Ujjawal-K-Panchal/coshnet
引用
@article{arxiv.2208.06882,
title = {CoShNet: A Hybrid Complex Valued Neural Network using Shearlets},
author = {Manny Ko and Ujjawal K. Panchal and Héctor Andrade-Loarca and Andres Mendez-Vazquez},
journal= {arXiv preprint arXiv:2208.06882},
year = {2022}
}
备注
16 pages, 11 figures