条件信息增益网格

条件计算仅使用神经网络计算单元的一部分来处理输入。学习通过路由单个样本来执行深度卷积网络的部分具有几个优点：减少计算负担是一个明显的优点。此外，如果相似的类别被路由到相同的路径，网络的该部分学习区分更细微的差异，并且可以用更少的参数获得更好的分类精度。最近，几篇论文利用这一思想来选择树形网络中节点的特定子节点或跳过网络的部分。在这项工作中，我们采用基于网格的方法来生成深度卷积神经网络中的特定执行路径。我们设计了路由机制，使用基于可微信息增益的代价函数来确定卷积层中哪些特征子集将被执行。我们将我们的方法称为条件信息增益网格（CIGT）。我们表明，与无条件基线相比，我们的条件执行机制仅使用一小部分计算资源即可达到相当或更好的模型性能。