从零开始学习卷积

卷积是用于计算机视觉的架构中最基本的组件之一。随着机器学习致力于减少专家偏置并从数据中学习，一个自然的下一步似乎是从零开始学习类卷积结构。然而，这已被证明难以实现。例如，当前最先进的架构搜索算法使用卷积作为现有模块之一，而非从数据中学习它。为理解产生卷积的归纳偏置，我们研究最小描述长度作为指导原则，并表明在某些设置下它确实可以指示架构的性能。为寻找具有小描述长度的架构，我们提出 $\beta$-LASSO，一种 LASSO 算法的简单变体，当应用于全连接网络进行图像分类任务时，它学习具有局部连接的架构，并在 CIFAR-10 (85.19%)、CIFAR-100 (59.56%) 和 SVHN (94.07%) 上训练全连接网络实现了最先进的准确率，弥合了全连接网络与卷积网络之间的差距。