利用酉群卷积构建高效深度神经网络
机器学习
2019-04-10 v2 机器学习
摘要
我们提出酉群卷积（UGConvs），一种用于 CNN 的构建模块，它将群卷积与特征空间中的酉变换组合，以学习比单独群卷积更丰富的表示集合。UGConvs 推广了 CNN 架构中两个截然不同的思想：通道混洗（即 ShuffleNet）和块循环网络（即 CirCNN），并提供了统一的见解，从而加深对每种技术的理解。我们通过实验证明，稠密酉变换在 DNN 准确率上可以胜过通道混洗。另一方面，不同的稠密变换表现出可比的准确率性能。基于这些观察，我们提出 HadaNet，一种使用 Hadamard 变换的 UGConv 网络。HadaNets 以更低的计算复杂度实现了与循环网络相似的准确率，并且在相同参数数量和浮点乘法次数下比 ShuffleNets 具有更好的准确率。
引用
@article{arxiv.1811.07755,
title = {Building Efficient Deep Neural Networks with Unitary Group Convolutions},
author = {Ritchie Zhao and Yuwei Hu and Jordan Dotzel and Christopher De Sa and Zhiru Zhang},
journal= {arXiv preprint arXiv:1811.07755},
year = {2019}
}
备注
8 pages, 2 figures