FALCON：轻量且精确的卷积
计算机视觉与模式识别
2021-01-01 v2 图像与视频处理
摘要
我们如何能在保留分类任务精度的同时高效压缩卷积神经网络（CNN）？深度可分离卷积（DSConv）以深度卷积与逐点卷积替代标准卷积，已被用于构建轻量架构。然而，以往基于深度可分离卷积的工作在压缩已训练 CNN 模型时存在局限，因为 1) 它们多为启发式方法，未精确理解其与标准卷积的关系；2) 其精度无法匹配标准卷积。本文提出 FALCON，一种精确且轻量的 CNN 压缩方法。FALCON 使用我们提出的数学形式化 GEP 来近似标准卷积核，从而解释现有基于深度可分离卷积的卷积方法。通过利用已训练标准模型的知识并借助 GEP 仔细确定深度可分离卷积的顺序，FALCON 取得了接近已训练标准模型的充分精度。此外，该解释催生了广义版本 rank-k FALCON，其执行 k 次独立 FALCON 操作并求和结果。实验表明，FALCON 1) 比基于深度可分离卷积与张量分解的现有方法精度更高；2) 在确保相似精度下，将标准卷积的参数量与 FLOPs 最多减少至 1/8。我们还展示了 rank-k FALCON 在略微牺牲压缩与计算缩减率的同时进一步提升了精度。
引用
@article{arxiv.1909.11321,
title = {FALCON: Lightweight and Accurate Convolution},
author = {Jun-Gi Jang and Chun Quan and Hyun Dong Lee and U Kang},
journal= {arXiv preprint arXiv:1909.11321},
year = {2021}
}