CircConv：一种低复杂度的结构化卷积
计算机视觉与模式识别
2019-03-01 v1
摘要
深度神经网络（DNNs），尤其是深度卷积神经网络（CNNs），已成为各种机器学习应用中强有力的技术。然而，DNNs 庞大的模型规模对计算资源和权重存储提出了很高的要求，从而限制了 DNNs 的实际部署。为克服这些局限，本文提出将循环结构施加于卷积层的构造，由此得到循环卷积层（CircConvs）和循环 CNNs。该循环结构与模型既可从头训练，也可从预训练的非循环模型重新训练，因而对不同训练环境非常灵活。通过大量实验证明，这种强结构施加方法能够大幅减少卷积层的参数数量，并通过循环张量的快速乘法实现计算成本的显著节省。
引用
@article{arxiv.1902.11268,
title = {CircConv: A Structured Convolution with Low Complexity},
author = {Siyu Liao and Zhe Li and Liang Zhao and Qinru Qiu and Yanzhi Wang and Bo Yuan},
journal= {arXiv preprint arXiv:1902.11268},
year = {2019}
}