神经网络胶囊封装
机器学习
2018-08-15 v1 计算机视觉与模式识别
机器学习
摘要
胶囊(capsule)是一组神经元的集合，用于表示网络中某一模式的不同变体。路由机制确保只有较高层中与较低层对应部分相似的特定胶囊才应被激活。然而，由于较低层胶囊需要与每一个较高层胶囊相对应，计算复杂度成为扩展到更大网络的瓶颈。为解决此限制，我们用两个分支近似路由过程：一个主分支从较低层的直接连接中收集主要信息，一个辅助分支基于编码在其他较低层胶囊中的模式变体对主分支进行补充。与以往迭代且无监督的路由方案相比，这两个分支以快速、有监督且一次前向传递的方式进行通信。因此，模型的复杂度和运行时间大幅降低。受路由使较高胶囊与较低胶囊达成一致的启发，我们将该机制扩展为对邻近层信息快速丢失的补偿。我们设计了一个反馈一致单元，将较高胶囊作为反馈发回。这可视为对网络的一种额外正则化。反馈一致性通过比较两个分布（较低与较高胶囊）之间的最优传输散度来实现。这一附加模块在胶囊网络和普通网络中均带来一致的提升。我们提出的 EncapNet 在 CIFAR10/100、SVHN 和 ImageNet 的一个子集上均优于以往的 SOTA 方法。
引用
@article{arxiv.1808.03749,
title = {Neural Network Encapsulation},
author = {Hongyang Li and Xiaoyang Guo and Bo Dai and Wanli Ouyang and Xiaogang Wang},
journal= {arXiv preprint arXiv:1808.03749},
year = {2018}
}
备注
ECCV 2018