胶囊间的注意力路由
计算机视觉与模式识别
2019-11-14 v4
摘要
本文提出一种称为注意力路由胶囊网络（AR CapsNet）的新胶囊网络架构。我们用注意力路由和胶囊激活替代了胶囊网络的动态路由和squash激活函数。注意力路由是通过注意力模块在胶囊间进行的路由。注意力路由是一种保持空间信息的快速前向传播。另一方面，动态路由的直观解释是寻找预测胶囊的质心。因此，squash激活函数及其变体侧重于保持向量方向。然而，胶囊激活侧重于执行胶囊级激活函数。我们在MNIST、affNIST和CIFAR-10分类任务上评估所提模型。所提模型以更少的参数（MNIST上为0.65倍，CIFAR-10上为0.82倍）和更短的训练时间（MNIST上为0.19倍，CIFAR-10上为0.35倍）比CapsuleNet达到更高准确率。这些结果验证了设计胶囊级操作是实现胶囊概念的关键因素。此外，我们的实验表明所提模型与CapsuleNet一样具有变换等变性。当我们扰动输出胶囊的每个元素时，附加在输出胶囊上的解码器显示出全局变化。进一步实验表明，对输入图像施加仿射变换所引起的胶囊特征差异在单一方向上显著对齐。
引用
@article{arxiv.1907.01750,
title = {Attention routing between capsules},
author = {Jaewoong Choi and Hyun Seo and Suii Im and Myungjoo Kang},
journal= {arXiv preprint arXiv:1907.01750},
year = {2019}
}