蝴蝶变换：一种基于高效 FFT 的神经网络架构设计
计算机视觉与模式识别
2020-04-20 v2 机器学习
摘要
在本文中，我们表明将 FFT 算法中的蝴蝶运算推广为一般的蝴蝶变换（BFT）有助于为 CNN 设计构建高效的块结构。我们称之为通道融合的点卷积是当下最先进的高效 CNN（例如 MobileNets）中的主要计算瓶颈。我们引入一组通道融合准则，并证明 BFT 相对于这些准则产生渐近最优的 FLOP 计数。通过用 BFT 替换点卷积，我们将这些层关于通道数的计算复杂度从 O(n^2) 降至 O(n\log n)。我们的实验评估表明，我们的方法在广泛的网络架构中带来显著的准确率提升，尤其在低 FLOP 区间。例如，在相似 FLOPS 下，BFT 使 MobileNetV1 在 ImageNet 上的 Top-1 绝对提升达 6.75%，ShuffleNet V2 达 4.4%，MobileNetV3 达 5.4%。值得注意的是，ShuffleNet-V2+BFT 在低 FLOP 区间优于最先进的架构搜索方法 MNasNet、FBNet 和 MobilenetV3。
引用
@article{arxiv.1906.02256,
title = {Butterfly Transform: An Efficient FFT Based Neural Architecture Design},
author = {Keivan Alizadeh Vahid and Anish Prabhu and Ali Farhadi and Mohammad Rastegari},
journal= {arXiv preprint arXiv:1906.02256},
year = {2020}
}