在卷积师生场景中局部性战胜维度灾难

卷积神经网络对数据进行局部且平移不变的处理:量化这两个方面中哪一个对其成功起核心作用仍是一项挑战。我们在核回归的师生框架内研究此问题,使用受给定滤波器尺寸的简单卷积架构的神经正切核启发的“卷积”核。利用来自物理学的启发式方法,我们发现,在无岭情形下,局部性决定了学习曲线指数 $\beta$(将测试误差 $\epsilon_t\sim P^{-\beta}$ 与训练集大小 $P$ 相关联),而平移不变性则不是。特别地,若教师 $t$ 的滤波器尺寸小于学生 $s$ 的滤波器尺寸,则 $\beta$ 仅是 $s$ 的函数且与输入维度无关。我们通过实验证实了关于 $\beta$ 的预测。最后,我们利用一个自然的普适性假设证明,使用随训练集大小递减的岭进行核回归,会得到与无岭情形下相似的学习曲线指数。