增强的卷积神经正切核
机器学习
2019-11-05 v1 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
近期研究表明，对于使用 损失的训练，当卷积神经网络（CNN）的宽度（卷积层中的通道数）趋于无穷时，若仅训练最后一层，则对应于关于 CNN 高斯过程核（CNN-GP）的回归；若训练所有层，则对应于关于卷积神经正切核（CNTK）的回归。计算 CNTK 的精确算法（Arora 等人，2019）发现，CNTK 在 CIFAR-10 上的分类准确率与相应 CNN 架构的差距在 6-7% 以内（最佳数值约为 78%），对于固定核而言这是有趣的性能。本文展示如何利用两个思路显著提升这些核的性能。（1）使用一种称为局部平均池化（LAP）的新操作来修改核，该操作保持核的高效可计算性，并继承了使用像素平移的标准数据增强的精神。早期的论文因核回归的二次训练代价而无法纳入朴素数据增强。该思路受全局平均池化（GAP）启发，我们证明对于 CNN-GP 和 CNTK，GAP 等价于完整的平移数据增强。（2）使用 Coates 等人（2011）提出的预处理技术表示输入图像，该技术使用由随机图像块组成的单个卷积层。在 CIFAR-10 上，所得核（带 LAP 和水平翻转数据增强的 CNN-GP）达到了 89% 的准确率，匹配了 AlexNet（Krizhevsky 等人，2012）的性能。请注意，这是我们所知的非训练神经网络分类器的最佳此类结果。在 Fashion-MNIST 上也获得了类似的提升。
引用
@article{arxiv.1911.00809,
title = {Enhanced Convolutional Neural Tangent Kernels},
author = {Zhiyuan Li and Ruosong Wang and Dingli Yu and Simon S. Du and Wei Hu and Ruslan Salakhutdinov and Sanjeev Arora},
journal= {arXiv preprint arXiv:1911.00809},
year = {2019}
}