核方法中使用卷积与池化运算的学习
机器学习
2022-06-06 v2 机器学习
摘要
最近的实证研究表明，受卷积神经网络（CNN）启发的分层卷积核显著提升了核方法在图像分类任务中的性能。对于这些成功的一个被广泛接受的解释是，这些架构编码了适用于自然图像的假设类。然而，理解卷积架构中逼近与泛化之间的精确相互作用仍是一项挑战。在本文中，我们考虑协变量（图像像素）均匀分布于超立方体上的简化设定，并精确刻画了由单层卷积、池化和下采样运算组合而成的核的 RKHS。我们利用该刻画计算了高维下任意给定函数泛化误差的尖锐渐近性。特别地，我们量化了通过卷积运算强制局部性以及通过平均池化近似平移不变性所带来的样本复杂度增益。值得注意的是，这些结果精确描述了卷积与池化运算如何在单层卷积核中权衡逼近能力与泛化能力。
引用
@article{arxiv.2111.08308,
title = {Learning with convolution and pooling operations in kernel methods},
author = {Theodor Misiakiewicz and Song Mei},
journal= {arXiv preprint arXiv:2111.08308},
year = {2022}
}
备注
52 pages, 6 figures