通过跨通道权重共享改进轴向注意力网络分类
计算机视觉与模式识别
2023-01-13 v2 机器学习
摘要
近年来，受超复数启发的神经网络（HCNNs）因其能够实现基于通道的权重共享、将颜色视为单一实体以及改善层内表示一致性而被用于改进深度学习架构。本文研究了将轴向注意力网络中的现有层替换为其表示一致变体以评估对图像分类的影响。我们通过将网络的 stem、瓶颈层和全连接后端替换为表示一致变体来进行实验。这些不同修改产生了新颖架构，它们在 ImageNet300k 分类数据集上均取得了准确率的提升。我们用于比较的基线网络为原始实值 ResNet、原始四元数值 ResNet 和轴向注意力 ResNet。由于无论修改网络哪一部分都观察到改进，这预示着该技术可能在改进大类网络的分类准确性方面具有普遍用处。
引用
@article{arxiv.2110.01185,
title = {Improving Axial-Attention Network Classification via Cross-Channel Weight Sharing},
author = {Nazmul Shahadat and Anthony S. Maida},
journal= {arXiv preprint arXiv:2110.01185},
year = {2023}
}