胶囊网络的局限性
机器学习
2021-01-20 v4 机器学习
摘要
深度学习中的一种近期提出的方法将多个神经元分组为胶囊，使得每个胶囊表示一个对象或对象的一部分。路由算法将来自较低层胶囊的输出路由到较高层。在本文中，我们证明最先进的路由过程降低了胶囊网络的表达式能力。更确切地说，研究表明EM路由和一致性路由阻止胶囊网络区分输入及其负对应物。因此，胶囊网络只能表达对称函数，并且可以得出结论它们不是通用逼近器。我们还从理论动机和实证上表明该局限性对深度胶囊网络的训练产生负面影响。因此，我们提出了一种针对最先进路由算法的增量改进，解决了上述局限性并稳定了胶囊网络的训练。
引用
@article{arxiv.1905.08744,
title = {Limitation of capsule networks},
author = {David Peer and Sebastian Stabinger and Antonio Rodriguez-Sanchez},
journal= {arXiv preprint arXiv:1905.08744},
year = {2021}
}