非参数变换网络

ConvNets通过其架构仅强制平移不变性。本文中，我们引入一类称为非参数变换网络（NPTNs）的深度卷积架构新类，它可直接从数据中学习\textit{一般}不变性与对称性。NPTNs是ConvNets的自然推广，并可直接用梯度下降优化。与几乎所有先前深度架构工作不同，它们对数据中存在的不变性结构不作假设，在这方面灵活且强大。我们还在称为变换网络（TN）的统一框架下对ConvNets和NPTNs建模，从而更好理解二者联系。我们在具有极端变换的MNIST和CIFAR10等数据上展示了NPTNs的功效，其优于基线，并进一步在ETH-80上超越若干近期算法。它们在参数数量相同的情况下做到了这一点。我们还表明，无需附加任意干扰变换的显式知识，它们在从数据建模对称性与不变性上比ConvNets更有效。最后，我们在胶囊网络内用NPTNs替换ConvNets，并显示这使胶囊网络表现更佳。