可分离层实现结构化高效线性替换
机器学习
2019-06-04 v1 机器学习
摘要
针对近期高效稠密层的发展,本文表明,将逐点卷积中的线性分量替换为结构化线性分解这样简单的操作,同样能在效率/精度权衡上带来显著收益。逐点卷积是全连接层,因此适于被结构化变换所替换。使用此类层的网络能够学习与使用标准卷积的网络相同的任务,并在效率/精度上提供帕累托最优的收益,无论就计算量(乘加次数)还是参数数量(以及由此而来的内存)而言皆然。代码见 https://github.com/BayesWatch/deficient-efficient。
引用
@article{arxiv.1906.00859,
title = {Separable Layers Enable Structured Efficient Linear Substitutions},
author = {Gavin Gray and Elliot J. Crowley and Amos Storkey},
journal= {arXiv preprint arXiv:1906.00859},
year = {2019}
}