通过滤波器内权重共享实现可微通道稀疏搜索
计算机视觉与模式识别
2022-01-06 v2
摘要
在本文中,我们提出了用于卷积神经网络的可微通道稀疏搜索(DCSS)。传统的通道剪枝算法需要用户为每个卷积层手动设置剪枝率,与此不同,DCSS 自动搜索最优的稀疏度组合。受可微架构搜索(DARTS)启发,我们借鉴了连续松弛方法并利用梯度信息来平衡计算成本与评估指标。由于直接应用 DARTS 方案会导致形状不匹配和过度的内存消耗,我们引入了一种称为滤波器内权重共享的新技术。该技术以可忽略的额外资源开销优雅地消除了形状不匹配问题。我们不仅在图像分类上进行了全面实验,还在包括语义分割和图像超分辨率在内的细粒度任务上验证了 DCSS 的有效性。与先前的网络剪枝方法相比,DCSS 在图像分类上取得了 SOTA 结果。语义分割和图像超分辨率的实验结果表明,特定任务搜索比迁移精简模型具有更好的性能,证明了 DCSS 的广泛适用性和高效率。
引用
@article{arxiv.2010.14714,
title = {Differentiable Channel Sparsity Search via Weight Sharing within Filters},
author = {Yu Zhao and Chung-Kuei Lee},
journal= {arXiv preprint arXiv:2010.14714},
year = {2022}
}