用于参数高效卷积神经网络的深度共享滤波器基
计算机视觉与模式识别
2021-11-23 v4 机器学习
图像与视频处理
摘要
现代卷积神经网络（CNNs）具有大量相同的卷积块，因此已有研究提出在这些块之间递归共享参数以减少参数量。然而，朴素的参数共享带来诸多挑战，如表征能力有限以及递归共享参数的梯度消失/爆炸问题。本文提出一种递归卷积块设计与训练方法，其中将可递归共享的部分（即滤波器基）分离并学习，同时在训练过程中有效避免梯度消失/爆炸问题。我们表明，通过强制滤波器基的元素正交归一，可控制这一棘手的梯度消失/爆炸问题，并经验性地证明所提出的正交正则化改善了训练期间的梯度流动。在图像分类与目标检测上的实验结果表明，与以往的参数共享方法不同，我们的方法不以牺牲性能来节省参数，且持续优于过参数化的对应网络。这一优越性能表明，所提出的递归卷积块设计与正交正则化不仅防止了性能退化，还在大量参数被递归共享的同时持续提升了表征能力。
引用
@article{arxiv.2006.05066,
title = {Deeply Shared Filter Bases for Parameter-Efficient Convolutional Neural Networks},
author = {Woochul Kang and Daeyeon Kim},
journal= {arXiv preprint arXiv:2006.05066},
year = {2021}
}