卷积神经网络中卷积算子的推广
计算机视觉与模式识别
2019-04-30 v1
摘要
卷积神经网络已成为解决许多机器视觉和机器学习问题的主要工具。这些网络的一个主要元素是卷积算子，它本质上计算权重向量与通过在前一层图像平面中滑动窗口提取的向量化图像块之间的内积。在本文中，我们为卷积算子中固有的内积运算提出了两类替代函数，从而获得了卷积算子的两种推广。第一类是正定核函数，其应用由核技巧证明其合理性。第二类是基于距离函数定义的相似性度量。我们通过追溯至作为CNN前身的新认知机背后的基本思想来证明其合理性。然后，通过允许随后应用单调递增函数，这两种方法都得到了进一步推广。与神经网络中的任何可训练参数一样，模板模式和核/距离函数的参数都通过反向传播算法进行训练。作为附带说明，我们使用所提出的框架来证明在CNN中使用正弦激活函数的合理性。我们在MNIST数据集上的实验表明，基于加权L1/L2距离的广义CNN可以达到普通CNN的性能，证明了所提出的卷积神经网络推广的适用性。
引用
@article{arxiv.1707.09864,
title = {Generalizing the Convolution Operator in Convolutional Neural Networks},
author = {Kamaledin Ghiasi-Shirazi},
journal= {arXiv preprint arXiv:1707.09864},
year = {2019}
}
备注
Neural Process Lett (2019)