XnODR 与 XnIDR：面向卷积神经网络的两种精确且快速的全连接层
计算机视觉与模式识别
2024-01-09 v3 机器学习
神经与进化计算
摘要
Capsule Network 在定义深度神经网络中用于视觉识别任务的特征间位置关系方面能力强大，但其计算开销大，不适合在移动设备上运行。瓶颈在于胶囊之间所使用的动态路由机制的计算复杂度。另一方面，XNOR-Net 快速且计算高效，但由于二值化过程中的信息损失而精度较低。为解决动态路由机制的计算负担，本文通过在 CapsFC 层内或层外的动态路由中对线性投影进行 xnorize 操作，提出了新的全连接（FC）层。具体而言，我们提出的全连接层有两个版本：XnODR（Xnorize the Linear Projection Outside Dynamic Routing，动态路由外线性投影 XNOR 化）和 XnIDR（Xnorize the Linear Projection Inside Dynamic Routing，动态路由内线性投影 XNOR 化）。为测试 XnODR 和 XnIDR 的泛化能力，我们将它们插入 MobileNetV2 和 ResNet-50 两种不同的网络中。我们在 MNIST、CIFAR-10 和 MultiMNIST 三个数据集上的实验验证了它们的有效性。结果表明，XnODR 和 XnIDR 均能帮助网络以更低的 FLOPs 和更少的参数量实现高准确率（例如，在 CIFAR-10 上以 2.99M 参数量和 311.74M FLOPs 达到 96.14% 的正确率）。
引用
@article{arxiv.2111.10854,
title = {XnODR and XnIDR: Two Accurate and Fast Fully Connected Layers For Convolutional Neural Networks},
author = {Jian Sun and Ali Pourramezan Fard and Mohammad H. Mahoor},
journal= {arXiv preprint arXiv:2111.10854},
year = {2024}
}
备注
19 pages, 5 figures, 9 tables, 2 algorithms