为深度学习学习组合结构：为何协议路由是必要的
机器学习
2020-10-07 v2 机器学习
摘要
神经网络组合性的形式化描述直接关联于其欲表示对象的的形式文法结构。该形式文法结构规定了构成对象的组件种类及其允许的配置。换言之，对象可描述为其组件的解析树——一种可视为在神经网络中构建神经元间连接模式的结构。我们给出卷积神经网络与胶囊网络的形式文法描述，表明胶囊网络如何强制此类解析树结构，而 CNN 则不能。具体而言，我们表明动态路由算法中路由系数的熵控制了该能力。因此，我们引入路由权重的熵作为损失函数，以提升胶囊间组合性。我们通过具有组合结构的数据上的实验表明，使用该损失使胶囊网络能更好地检测组合性的变化。实验显示，随着路由权重熵增大，检测组合性变化的能力下降。我们看到，若无路由，胶囊网络表现与卷积神经网络相似，二者在检测组合性变化上均表现糟糕。我们的结果表明路由是胶囊网络的重要部分——有效回应了近期质疑其必要性的工作。我们还通过 SmallNORB、CIFAR-10 与 FashionMNIST 上的实验表明，该损失使胶囊网络模型精度与不使用它的模型相当。
引用
@article{arxiv.2010.01488,
title = {Learning Compositional Structures for Deep Learning: Why Routing-by-agreement is Necessary},
author = {Sai Raam Venkatraman and Ankit Anand and S. Balasubramanian and R. Raghunatha Sarma},
journal= {arXiv preprint arXiv:2010.01488},
year = {2020}
}