用于对象分类的自注意力胶囊网络
计算机视觉与模式识别
2019-11-20 v2
摘要
我们提出了一种用于对象分类的新架构，称为自注意力胶囊网络（SACN）。SACN 是首个将自注意力机制作为胶囊网络（CapsNet）中一个完整层引入的模型。自注意力机制提供长程依赖，从而选择更显著的图像区域加以关注，而 CapsNet 仅分析这些区域内部的相关特征及其空间关联。特征在卷积层中提取。随后，自注意力层学习基于特征分析抑制无关区域，并突出对特定任务有用的显著特征。注意力图随后被送入 CapsNet 主层，其后接一个分类层。所提出的 SACN 模型旨在解决基线 CapsNet 的两个主要局限——复杂数据分析与巨大计算负载。本工作中，我们使用浅层 CapsNet 架构，并通过自注意力模块弥补深层网络的缺失，从而显著改善结果。所提出的自注意力胶囊网络架构在六个不同数据集上进行了广泛评估，主要包括三个不同的医学数据集，以及自然的 MNIST、SVHN 和 CIFAR10。该模型比基线 CapsNet 更能分类具有多样且复杂背景的图像及其块。结果表明，所提出的自注意力胶囊网络在不同数据集内部及跨数据集显著提升了分类性能，并在分类准确率和鲁棒性上均优于基线 CapsNet、ResNet-18 和 DenseNet-40。
引用
@article{arxiv.1904.12483,
title = {Self-Attention Capsule Networks for Object Classification},
author = {Assaf Hoogi and Brian Wilcox and Yachee Gupta and Daniel L. Rubin},
journal= {arXiv preprint arXiv:1904.12483},
year = {2019}
}