多路径神经网络中特征依赖的交叉连接

从源自多样上下文的数据集样本中学习特定任务是具有挑战性的，通常通过加深或加宽标准神经网络来解决。与传统的网络加宽不同，多路径架构将复杂度的二次增长限制为线性规模。然而，现有的多列/多路径网络或模型集成方法不考虑任何对并行资源的特征依赖分配，因此往往学习冗余特征。给定多路径网络中的一层，如果我们将每条路径限制为学习特定于上下文的特征集合，并引入一种机制将输入特征图智能分配给此类路径，则每条路径可专用于某一上下文，减少冗余并改善所提取特征的质量。这最终带来对并行资源的更好优化使用。为此，我们提出在连续层的并行特征图集合之间插入特征依赖的交叉连接。这些交叉连接的权重系数由该特定层的输入特征计算而得。我们的多路径网络在小型和大型数据集上，相较于用于加深、加宽和自适应特征提取的常规及最先进方法，在相似复杂度下展现出改进的图像识别精度。