SD-Conv：面向动态卷积的参数高效性
计算机视觉与模式识别
2023-05-29 v3 人工智能
摘要
动态卷积以可忽略的 FLOPs 增加为代价为高效 CNN 实现了更好性能。然而，性能提升无法匹配显著扩大的参数数量，这是实际应用中的主要瓶颈。相比之下，基于掩码的非结构化剪枝通过去除重型网络中的冗余获得轻量网络。在本文中，我们提出一个新框架，\textbf{稀疏动态卷积} (\textsc{SD-Conv})，以自然整合这两条路径，从而继承动态机制与稀疏性的优势。我们首先设计由可学习阈值导出的二值掩码来剪枝静态核，在 ImageNet-1K 上显著减少参数与计算成本但取得更高性能。我们进一步将预训练模型迁移至多种下游任务，展示出比基线一致更好的结果。我们希望我们的 SD-Conv 能成为传统动态卷积的高效替代。
引用
@article{arxiv.2204.02227,
title = {SD-Conv: Towards the Parameter-Efficiency of Dynamic Convolution},
author = {Shwai He and Chenbo Jiang and Daize Dong and Liang Ding},
journal= {arXiv preprint arXiv:2204.02227},
year = {2023}
}
备注
WACV 2023