条件信息增益网络

深度神经网络模型的表现力源于大量可学习参数。在手机等资源受限环境中运行这些高度参数化的深度模型往往不可行。采用条件计算的网络模型能够通过建模层次结构来降低计算需求，同时保持高表现力。我们提出条件信息增益网络（Conditional Information Gain Networks），使前馈深度神经网络能够条件执行，基于样本和架构中插入的决策机制跳过模型的部分结构。这些决策机制使用基于可微信息增益（Information Gain）的损失函数进行训练，其灵感来自决策树的训练过程。这些基于信息增益的决策机制是可微的，并可以使用统一框架与通用损失函数进行端到端训练，该框架同时涵盖分类损失与决策损失。我们在 MNIST 和近期提出的 Fashion MNIST 数据集上测试了所提方法的有效性，并表明与标准卷积神经网络基线相比，我们基于信息增益的条件执行方法能用显著更少的参数取得更好或相当的分类结果。