深度卷积网络是层次化核机器
机器学习
2015-08-06 v1 神经与进化计算
摘要
在 i-theory 中，层次化架构的典型层由 HW 模块组成，这些模块对层的输入与若干模板在群作用下的变换做点积后进行池化。此类层作为特例包含了深度卷积网络（DCNs）的卷积层以及非卷积层（当群仅含恒等元时）。修正非线性——当前 DCNs 所采用的——是 i-theory 为 HW 模块所允许的若干种非线性之一。我们在此讨论修正非线性的线性组合的群平均与一个关联核之间的等价性。该性质意味着当前的 DCNs 可以精确等价于带有池化与非池化层的核机器层次结构。最后，我们描述了一个用于从理论理解此类模块层次结构的猜想。该猜想的一个主要结论是，训练好的 HW 模块层次结构在计算选择性与不变性表示的同时使存储需求最小化。
引用
@article{arxiv.1508.01084,
title = {Deep Convolutional Networks are Hierarchical Kernel Machines},
author = {Fabio Anselmi and Lorenzo Rosasco and Cheston Tan and Tomaso Poggio},
journal= {arXiv preprint arXiv:1508.01084},
year = {2015}
}