基于反点积注意力路由的胶囊网络
机器学习
2020-02-27 v2 机器学习
摘要
我们提出了一种新的胶囊网络路由算法，其中子胶囊仅基于父胶囊状态与子胶囊投票之间的吻合度路由到父胶囊。该新机制 1) 通过反点积注意力设计路由；2) 采用层归一化(Layer Normalization)作为归一化方式；3) 以并发迭代路由取代顺序迭代路由。与先前提出的路由算法相比，我们的方法在 CIFAR-10 和 CIFAR-100 等基准数据集上提升了性能，并且以 4 倍更少的参数达到了与强大的 CNN (ResNet-18) 相当的表现。在另一项从重叠数字图像中识别数字的任务上，所提出的胶囊模型在相同的层数和每层神经元数量下优于 CNN。我们相信，我们的工作提升了将胶囊网络应用于复杂现实世界任务的可能性。我们的代码公开于：https://github.com/apple/ml-capsules-inverted-attention-routing 另一种实现见于：https://github.com/yaohungt/Capsules-Inverted-Attention-Routing/blob/master/README.md
引用
@article{arxiv.2002.04764,
title = {Capsules with Inverted Dot-Product Attention Routing},
author = {Yao-Hung Hubert Tsai and Nitish Srivastava and Hanlin Goh and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:2002.04764},
year = {2020}
}
备注
ICLR 2020