MaskConnect：通过梯度下降学习连接性

尽管深度网络近来已成为许多计算机视觉问题的首选模型，但为了产生良好结果，它们往往需要进行耗时的架构搜索。为应对设计选择的复杂性，先前工作采用了模块化设计原则，即将网络定义为拓扑相同或相似构建块（亦称模块）的组合。这将架构搜索简化为确定要组合的模块数量以及如何连接这些模块的问题。同样出于设计复杂性与训练成本的考虑，以往方法依赖于简单的连接规则，例如将每个模块仅连接到紧邻的前一个模块，或者可能连接到所有前面的模块。此类简单连接规则不太可能针对给定问题产生最优架构。在本工作中，我们移除这些预定义选择，并提出一种学习网络中模块间连接的算法。连接性不再由人类设计者先验选定，而是通过使用改进版梯度下降优化末端任务损失函数，与网络权重同时学习。我们在多类图像分类问题上使用两种流行架构 ResNet 和 ResNeXt 演示了我们的连接性学习方法。在四个不同数据集上的实验表明，使用我们方法的连接性学习相比依赖传统预定义连接规则一致地获得了更高准确率。此外，在某些设定下它显著节省了参数数量。