FSNet：基于滤波器摘要的深度卷积神经网络压缩
机器学习
2020-04-13 v3 人工智能
机器学习
摘要
我们提出一种通过权重共享压缩深度卷积神经网络(CNNs)的新方法，其借助卷积滤波器的一种新的表示形式实现。所提方法通过学习一个称为滤波器摘要(FS)的1D向量，减少了每个卷积层的参数数量。卷积滤波器在FS中作为重叠的1D片段排布，FS中邻近滤波器在其重叠区域以自然方式共享权重。基于此种权重共享方案得到的神经网络称为滤波器摘要CNN或FSNet，其每个卷积层含有一个FS，而非常规卷积层中一组独立滤波器。FSNet具有与被压缩基线CNN相同的架构，且在前向过程中FSNet每个卷积层从FS得到的滤波器数量与基线CNN相同。在可观的计算加速比下，FSNet的参数空间远小于基线CNN。此外，FSNet对量化友好。带权重量化的FSNet在不显著损失性能的同时带来更高的压缩比。我们进一步提出可微分FSNet(DFSNet)，其中以可微分端到端方式学习滤波器共享权重的方式。实验证明了FSNet在图像分类与目标检测等计算机视觉任务中压缩CNN的有效性，且DFSNet在神经架构搜索任务中亦展现有效性。
引用
@article{arxiv.1902.03264,
title = {FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary},
author = {Yingzhen Yang and Jiahui Yu and Nebojsa Jojic and Jun Huan and Thomas S. Huang},
journal= {arXiv preprint arXiv:1902.03264},
year = {2020}
}
备注
published at ICLR 2020