Efficient-CapsNet：具有自注意力路由的胶囊网络
计算机视觉与模式识别
2021-12-21 v2 人工智能
摘要
深度卷积神经网络借助架构设计策略，广泛利用数据增强技术与具有高数量特征图的层来嵌入对象变换。这极度低效，且对大型数据集意味着特征检测器的巨大冗余。尽管胶囊网络仍处于起步阶段，它们构成了一种有前景的方案，可扩展当前卷积网络并赋予人工视觉感知以更高效编码所有特征仿射变换的过程。事实上，理论上一个正常工作的胶囊网络应能以显著更少的参数数量取得更高结果，因其内在具备泛化至新视角的能力。然而，这一相关方面鲜受关注。本文研究胶囊网络的效率，并通过一个仅约160K参数的极致架构将其能力推至极限，证明所提架构仍能以仅原始 CapsNet 参数 2% 的规模在三个不同数据集上取得最先进（state-of-the-art）结果。此外，我们以一种新颖的非迭代、高度可并行化路由算法取代动态路由，该算法可轻松应对减少的胶囊数量。与其他胶囊实现的广泛实验证明了我们方法的有效性以及胶囊网络高效嵌入更利于泛化的视觉表征的能力。
引用
@article{arxiv.2101.12491,
title = {Efficient-CapsNet: Capsule Network with Self-Attention Routing},
author = {Vittorio Mazzia and Francesco Salvetti and Marcello Chiaberge},
journal= {arXiv preprint arXiv:2101.12491},
year = {2021}
}
备注
Accepted by Scientific Reports