CapProNet：通过向胶囊子空间正交投影进行深度特征学习
摘要
在本文中，我们形式化了胶囊网络中使用胶囊向量而非神经元激活来预测样本标签的思想。为此，我们提出学习一组胶囊子空间，将输入特征向量投影到其上。随后所得胶囊的长度被用于评分属于不同类的概率。我们通过为每个胶囊子空间学习一个正交投影矩阵来训练这样的胶囊投影网络（Capsule Projection Network, CapProNet），并表明每个胶囊子空间会持续更新直至其包含对应于相关类的输入特征向量。我们还将表明胶囊投影可视为同时归一化权重矩阵的多个列以形成正交基，这使得其在融合输入特征的新成分来更新胶囊表示时更为有效。换言之，胶囊投影可视为胶囊子空间中的多维权重归一化，而常规权重归一化仅是胶囊向一维直线投影的特例。在低维胶囊子空间中训练网络或通过替代的超幂迭代估计归一化矩阵仅带来微小可忽略的计算开销。在图像数据集上的实验结果表明，所提模型在相同计算与内存开销下，可将最先进的 ResNet 骨干网络性能提升 ，将 Densenet 性能提升 。CapProNet 通过显著减少基准数据集上的测试误差，为胶囊网络家族确立了有竞争力的 SOTA 性能。
引用
@article{arxiv.1805.07621,
title = {CapProNet: Deep Feature Learning via Orthogonal Projections onto Capsule Subspaces},
author = {Liheng Zhang and Marzieh Edraki and Guo-Jun Qi},
journal= {arXiv preprint arXiv:1805.07621},
year = {2018}
}
备注
Liheng Zhang, Marzieh Edraki, Guo-Jun Qi. CapProNet: Deep Feature Learning via Orthogonal Projections onto Capsule Subspaces, in Proccedings of Thirty-second Conference on Neural Information Processing Systems (NIPS 2018), Palais des Congr\`es de Montr\'eal, Montr\'eal, Canda, December 3-8, 2018