通过对称元算子的变换恒等且不变卷积神经网络
计算机视觉与模式识别
2018-07-12 v3
摘要
从数学上讲，变换不变算子（例如变换恒等（TI）矩阵核，即 K= T{K}）在作用于第一个操作数矩阵时，与变换（T{.}）本身可交换。我们发现，在卷积神经网络（CNN）系统中一致地应用同类型的 TI 核时，无论是否涉及激活函数和/或层内跨通道的一维卷积，该交换性质在所有卷积层中都成立。我们进一步发现，任何在所有卷积层具有相同的 TI 核性质、且其后接一个对其变换对应元素进行权值共享的展平层的 CNN，将对原始输入向量的所有变换版本输出相同结果。简言之，CNN[ Vi ] = CNN[ T{Vi} ]，前提是 CNN 中每个 K = T{K}，其中 Vi 表示输入向量，CNN[.] 表示整个 CNN 过程作为产生输出向量的输入向量的函数。借助这样的变换恒等 CNN（TI-CNN）系统，每个未与数据增强中预定义 TI 相关联的变换，将固有地包含其输入向量的所有对应变换版本用于训练。因此，在 CNN 中对每个核使用相同的 TI 性质，将作为方向与平移无关的训练引导，与训练期间的误差反向传播相结合。这种 TI 核性质对于要求来自输入对应变换版本高度一致输出结果的应用是理想的。我们提供了若干 C 语言编程例程，以方便有意使用 TI-CNN 技术的各方，该技术有望比普通 CNN 对应物产生更好的泛化性能。
引用
@article{arxiv.1806.03636,
title = {Transformationally Identical and Invariant Convolutional Neural Networks through Symmetric Element Operators},
author = {Shih Chung B. Lo and Matthew T. Freedman and Seong K. Mun and Shuo Gu},
journal= {arXiv preprint arXiv:1806.03636},
year = {2018}
}
备注
20 pages, 2 figures