FalconNet：轻量级卷积网络的结构分解设计
计算机视觉与模式识别
2023-06-13 v1
摘要
设计参数与 Flops 极少的轻量级 CNN 模型是重要研究课题。然而，当前轻量级 CNN 仍存在三个显著问题：i) 缺乏架构一致性导致冗余与能力比较困难，以及架构选择与性能提升间因果关系的模糊；ii) 单一分支深度可分离卷积的使用削弱了模型表征能力；iii) 深度可分离卷积占据大量参数与 Flops，却缺乏使其轻量级的高效方法。为解决这些问题，我们从粗到细分解轻量级 CNN 的四个关键组件并重新设计：i) 我们设计称为 LightNet 的轻量级整体架构，通过简单实现其他轻量级 CNN 的基本块即获得更优性能；ii) 我们抽象出由空间算子与通道算子组成、统一描述当前基本块的 Meta Light Block；iii) 我们提出 RepSO，构建多空间算子分支以增强表征能力；iv) 我们提出感受范围概念，并受其引导提出 RefCO 以稀疏分解通道算子。基于上述四个关键组件，我们提出称为 FalconNet 的新型轻量级 CNN 模型。实验结果验证，与现有轻量级 CNN 相比，FalconNet 以更少参数与 Flops 取得更高精度。
引用
@article{arxiv.2306.06365,
title = {FalconNet: Factorization for the Light-weight ConvNets},
author = {Zhicheng Cai and Qiu Shen},
journal= {arXiv preprint arXiv:2306.06365},
year = {2023}
}