散射变换的规模化：深度混合网络
计算机视觉与模式识别
2017-04-05 v2 机器学习
摘要
我们将散射网络用作监督深度混合网络前几层的通用固定初始化。我们表明早期层不一定需要学习，在使用预定义表示的同时提供迄今最佳结果，且与深度 CNN 具有竞争力。使用浅层的 1×1 卷积级联，对应于极小空间窗口的散射系数进行编码，可在 ImageNet ILSVRC2012 上达到 AlexNet 级别的准确率。我们证明这种局部编码显式地学习了旋转不变性。将散射网络与现代 ResNet 结合，我们在 ImageNet ILSVRC2012 上实现了单次裁剪 top-5 错误率 11.4%，与 ResNet-18 架构相当，但仅使用 10 层。我们还发现混合架构在小样本 regime 下能产生优异性能，超越其端到端对应物，归因于其引入几何先验的能力。我们在 CIFAR-10 数据集子集和 STL-10 数据集上验证了这一点。
引用
@article{arxiv.1703.08961,
title = {Scaling the Scattering Transform: Deep Hybrid Networks},
author = {Edouard Oyallon and Eugene Belilovsky and Sergey Zagoruyko},
journal= {arXiv preprint arXiv:1703.08961},
year = {2017}
}