信任分段线性 CNN 中的支持向量机
机器学习
2017-03-07 v5
摘要
我们提出了一种针对分段线性卷积神经网络 (PL-CNNs) 学习目标的新型逐层优化算法，PL-CNNs 是一大类卷积神经网络。具体而言，PL-CNNs 采用分段线性非线性函数（如常用的 ReLU 和最大池化），并将支持向量机 (SVM) 分类器作为最后一层。我们方法的关键观察结果是，对应于某一层参数估计的问题可以表述为凸差 (DC) 规划问题，而这恰好是一个潜在结构化 SVM。我们使用凹 - 凸过程优化该 DC 规划，这需要迭代求解结构化 SVM 问题。这使得我们能够设计一种具有最优学习率且无需任何调参的优化算法。利用 MNIST、CIFAR 和 ImageNet 数据集，我们表明我们的方法总是优于反向传播的最先进变体，并能扩展到大数据和大型网络设置。
引用
@article{arxiv.1611.02185,
title = {Trusting SVM for Piecewise Linear CNNs},
author = {Leonard Berrada and Andrew Zisserman and M. Pawan Kumar},
journal= {arXiv preprint arXiv:1611.02185},
year = {2017}
}