胶囊之间无需路由
计算机视觉与模式识别
2021-06-21 v6 机器学习
摘要
大多数胶囊网络设计依赖于胶囊层之间的传统矩阵乘法以及计算昂贵的路由机制，以处理矩阵乘法引入的胶囊维度纠缠。通过使用齐次向量胶囊（HVCs）——其采用逐元素乘法而非矩阵乘法——胶囊的维度保持未纠缠。在这项工作中，我们研究将 HVCs 应用于高度结构化的 MNIST 数据集，以便与 Geoffrey Hinton 等人的胶囊研究方向进行直接比较。在我们的研究中，我们表明使用 HVCs 的简单卷积神经网络在 MNIST 上的性能优于先前最佳胶囊网络，且使用的参数减少 5.5 倍、训练轮数减少 4 倍、无需重建子网络且不需要路由机制。向网络添加多个分类分支为 MNIST 数据集确立了新的最高水平（state of the art），这些模型的集成准确率达 99.87%，同时为单一模型确立了新的最高水平（99.83% 准确）。
引用
@article{arxiv.2001.09136,
title = {No Routing Needed Between Capsules},
author = {Adam Byerly and Tatiana Kalganova and Ian Dear},
journal= {arXiv preprint arXiv:2001.09136},
year = {2021}
}
备注
13 pages, 7 figures, 9 tables