通过组合对称运算或输入向量实现的变换恒等且不变卷积神经网络
计算机视觉与模式识别
2018-08-21 v3 机器学习
机器学习
摘要
由变换输入向量或变换算子构造的变换不变处理器已被提出并应用于许多任务。本研究中发现，对于给定的条件，基于在某一处理步骤或初始步骤组合所有具相应变换的子处理结果所得的变换恒等处理是等价的。该性质可应用于大多数卷积神经网络（CNN）系统。具体而言，可通过将内部对称运算以包含权重在对应变换元素间共享的扁平层的同一变换族并行排布，来构造变换恒等 CNN。其他变换恒等 CNN 可通过在输入层对该族的变换输入向量取平均后接普通 CNN 处理或一组对称运算来构造。有趣的是，我们发现两类变换恒等 CNN 系统在激活函数前对所有子通道对应元素施加平均运算或不使用非线性激活函数时，在数学上是等价的。
引用
@article{arxiv.1807.11156,
title = {Transformationally Identical and Invariant Convolutional Neural Networks by Combining Symmetric Operations or Input Vectors},
author = {ShihChung B. Lo and Matthew T. Freedman and Seong K. Mun},
journal= {arXiv preprint arXiv:1807.11156},
year = {2018}
}
备注
9 pages, 3 figures