深度轴向超复数网络
计算机视觉与模式识别
2023-01-12 v1
摘要
过去十年中，深度超复数启发的网络通过实现输入通道间的权值共享增强了图像分类的特征提取。近期工作利用高计算成本的超复数启发网络提升了表征能力。本文通过将四元数 2D 卷积模块分解为两个连续的向量图 1D 卷积模块来降低该成本。此外，我们使用基于 5D 参数化超复数乘法的全连接层。二者结合产生我们提出的超复数网络，一种可组装以构建用于图像分类的深度轴向超复数网络（DANs）的新架构。我们在 CIFAR 基准、SVHN 与 Tiny ImageNet 数据集上实验，以更少可训练参数与 FLOPS 取得更优性能。我们所提模型在 CIFAR 与 SVHN 数据集上提升近 2% 性能，在 ImageNet-Tiny 数据集上提升逾 3%，且参数量仅为实值 ResNets 的六分之一。同时，它在超复数空间中于 CIFAR 基准上展现出最先进性能。
引用
@article{arxiv.2301.04626,
title = {Deep Axial Hypercomplex Networks},
author = {Nazmul Shahadat and Anthony S. Maida},
journal= {arXiv preprint arXiv:2301.04626},
year = {2023}
}