通过参数共享学习隐式循环 CNN
机器学习
2019-03-15 v2 机器学习
摘要
我们引入一种参数共享方案,其中卷积神经网络(CNN)的不同层由来自全局模板库的参张量的学习线性组合定义。限制模板数量产生了传统 CNN 与循环网络的灵活混合。与传统 CNN 相比,我们在标准图像分类任务上展示了显著的参数节省,同时保持精度。我们简单的参数共享方案虽通过软权重定义,但在实践中常产生具有近乎严格循环结构的训练网络;在可忽略的副作用下,它们可转换为具有实际循环的网络。因此训练这些网络隐式地涉及合适循环结构的发现。尽管仅考虑循环连接的设计方面,我们训练的网络达到了与使用最先进神经架构搜索(NAS)程序构建的网络相竞争的精度。我们的循环与卷积网络混合也可能代表一种有益的架构偏置。具体而言,在具有算法性质的合成任务上,我们的混合网络训练更快,且对训练集范围之外的测试样本泛化更好。
引用
@article{arxiv.1902.09701,
title = {Learning Implicitly Recurrent CNNs Through Parameter Sharing},
author = {Pedro Savarese and Michael Maire},
journal= {arXiv preprint arXiv:1902.09701},
year = {2019}
}
备注
Published as a conference paper at ICLR 2019