从Maxout到Channel-Out：在稀疏路径上编码信息

受神经科学中一个重要见解的启发，我们提出了一个新的框架来理解最近提出的“maxout”网络的成功。该框架基于在稀疏路径上编码信息并在推理时识别正确路径。基于这一见解，我们进一步提出了一种新颖的深度网络架构，称为“channel-out”网络，它能更好地利用稀疏路径编码。在channel-out网络中，路径不仅是事后形成的，而且根据来自较低层的推理输出被主动选择。从数学角度看，channel-out网络可以表示更广泛的分段连续函数类，从而赋予网络比maxout网络更强的表达能力。我们在几个著名的图像分类基准上测试了我们的channel-out网络，在CIFAR-100和STL-10上取得了新的最先进性能，这些基准代表了某些“较难”的图像分类任务。