秩-1卷积神经网络
计算机视觉与模式识别
2018-08-14 v1
摘要
本文提出一种具有三维秩-1滤波器的卷积神经网络（CNN），该滤波器由一维滤波器的外积构成。训练完成后，三维秩-1滤波器可在测试时分解为多个一维滤波器以实现快速推理。我们在训练阶段训练三维秩-1滤波器而非连续一维滤波器，原因在于此设置可获得更好的梯度流，使得即便在使用连续一维滤波器的网络无法训练的情况下，训练仍可进行。三维秩-1滤波器在每个 epoch 中通过梯度流和一维滤波器的外积共同更新：梯度流试图获得使损失函数最小化的解，而外积操作试图使滤波器参数位于秩-1子空间上。此外，我们表明使用秩-1滤波器的卷积会产生低秩输出，从而将 CNN 的最终输出也约束在低维子空间上。
引用
@article{arxiv.1808.04303,
title = {Rank-1 Convolutional Neural Network},
author = {Hyein Kim and Jungho Yoon and Byeongseon Jeong and Sukho Lee},
journal= {arXiv preprint arXiv:1808.04303},
year = {2018}
}
备注
The paper is in 2 Column style 8 pages. It will be submitted to CVPR2019