采用最大-最小归一化的胶囊网络
计算机视觉与模式识别
2019-03-26 v1
摘要
胶囊网络（CapsNet）使用 Softmax 函数将路由系数的对数化得分转换为一组归一化值，表示相邻层间胶囊的分配概率。我们表明，Softmax 的使用阻碍了胶囊层在低级与高级胶囊之间形成最优耦合。Softmax 限制了路由系数的动态范围，并导致经过若干次路由迭代后概率仍基本均匀。相反，我们提出使用最大-最小（Max-Min）归一化。Max-Min 对对数化得分进行尺度不变的归一化，允许每个低级胶囊取独立值，仅受归一化边界约束。Max-Min 在五个数据集上一致地提升了测试准确率，并允许更多路由迭代而不降低网络性能。使用 Max-Min 训练的单个 CapsNet 在 MNIST 数据集上取得了 0.20% 的改进测试误差。通过简单的 3 模型多数投票，我们在 MNIST 上取得了 0.17% 的测试误差。
引用
@article{arxiv.1903.09662,
title = {Capsule Networks with Max-Min Normalization},
author = {Zhen Zhao and Ashley Kleinhans and Gursharan Sandhu and Ishan Patel and K. P. Unnikrishnan},
journal= {arXiv preprint arXiv:1903.09662},
year = {2019}
}