利用累积路由系数在胶囊网络中实现快速推理
计算机视觉与模式识别
2019-04-17 v1
摘要
我们提出了一种在胶囊网络（CapsNets）中实现快速推理的方法，其关键在于利用了连接相邻网络层间胶囊的路由系数的一项重要洞察。由于路由系数负责将对象部件分配给整体，而一个对象整体通常包含相似的类内部件和不相似的类间部件，路由系数往往会为每个对象类别形成独特的签名。对于快速推理，首先使用训练数据集中的样本以通常方式训练网络。随后，与训练样本相关的路由系数被离线累积并用于创建一组“主”路由系数。在推理过程中，这些主路由系数被用来替代动态计算的路由系数。我们的方法有效地将动态路由过程中的 for 循环迭代替换为一次矩阵乘法运算，从而显著提升了推理速度。与动态路由过程相比，快速推理在 MNIST、Background MNIST、Fashion MNIST 和 Rotated MNIST 数据集上的测试准确率下降不到 0.5%，在 CIFAR10 上下降约 5%。
引用
@article{arxiv.1904.07304,
title = {Fast Inference in Capsule Networks Using Accumulated Routing Coefficients},
author = {Zhen Zhao and Ashley Kleinhans and Gursharan Sandhu and Ishan Patel and K. P. Unnikrishnan},
journal= {arXiv preprint arXiv:1904.07304},
year = {2019}
}