使用混合正交投影与估计学习卷积神经网络
神经与进化计算
2016-09-13 v4 计算机视觉与模式识别
摘要
卷积神经网络(CNN)在多种计算机视觉任务中表现出优异的性能，其中 CNN 通常采用由卷积层、池化层和全连接层组成的类似结构。在本文中，我们提出将一种名为混合正交投影与估计(HOPE)的新方法应用于 CNN，以将正交性引入 CNN 结构。HOPE 模型可以被视为一个混合模型，它将使用正交线性投影的特征提取与混合模型相结合。它是一个有效的模型，能够从原始高维特征向量中提取有用信息，同时过滤掉无关噪声。在本工作中，我们提出了三种将 HOPE 模型应用于 CNN 的不同方式，即 {\em HOPE-Input}、{\em single-HOPE-Block} 和 {\em multi-HOPE-Blocks}。对于 {\em HOPE-Input} CNN，在输入后直接使用 HOPE 层来解相关高维输入特征向量。或者，在 {\em single-HOPE-Block} 和 {\em multi-HOPE-Blocks} CNN 中，我们考虑使用 HOPE 层来替换 CNN 中的一个或多个块，其中一个块可能包含若干卷积层和一个池化层。在 Cifar-10 和 Cifar-100 数据集上的实验结果表明，由 HOPE 层施加的正交约束可以显著提升 CNN 在这些图像分类任务中的性能（在未应用图像增强时，我们取得了最佳性能之一；在应用图像增强时，取得了前五的性能）。
引用
@article{arxiv.1606.05929,
title = {Learning Convolutional Neural Networks using Hybrid Orthogonal Projection and Estimation},
author = {Hengyue Pan and Hui Jiang},
journal= {arXiv preprint arXiv:1606.05929},
year = {2016}
}
备注
7 Pages, 5 figures, submitted to AAAI 2017