OrthCaps：带稀疏注意力路由和剪枝的正交胶囊网络
计算机视觉与模式识别
2024-03-21 v1
摘要
冗余是胶囊网络（CapsNet）中持久存在的挑战，导致高计算成本和参数数量。尽管已有工作在初始胶囊层后引入剪枝，但动态路由的全连接特性和非正交权矩阵会在更深的层次上重新引入冗余。此外，动态路由需要迭代才能收敛，进一步增加计算需求。在本文中，我们提出了一种正交胶囊网络（OrthCaps），以减少冗余、提高路由性能和降低参数数量。首先，引入一种高效的剪枝胶囊层以丢弃冗余胶囊。其次，用正交稀疏注意力路由取代动态路由，无需迭代且无全连接结构。最后，对路由中的权矩阵进行正交化，以维持低胶囊相似度，这是我们所知的首次将正交性引入 CapsNet 的方法。我们在基准数据集上的实验确认了 OrthCaps 在分类任务中的效率和鲁健性，其中消融研究验证了每个组件的关键性。值得注意的是，OrthCaps-Shallow 在四个数据集上超越了其他胶囊网络基准，仅使用 110k 参数，仅为标准胶囊网络总参数的 1.25%。在我们所知的已有胶囊网络中，这实现了最小的参数数量。同样地，OrthCaps-Deep 在四个数据集上实现了竞争性能，仅使用其对应方案所需参数的 1.2%。
引用
@article{arxiv.2403.13351,
title = {OrthCaps: An Orthogonal CapsNet with Sparse Attention Routing and Pruning},
author = {Xinyu Geng and Jiaming Wang and Jiawei Gong and Yuerong Xue and Jun Xu and Fanglin Chen and Xiaolin Huang},
journal= {arXiv preprint arXiv:2403.13351},
year = {2024}
}
备注
8 pages