用于语义图像分割的自动压缩子集剪枝
计算机视觉与模式识别
2022-12-29 v1 机器学习
摘要
最先进的语义分割模型具有参数量大、推理慢的特点,难以部署在资源受限环境中。为应对此挑战,我们提出 \textsc{Auto-Compressing Subset Pruning}(\acosp)作为一种新的在线压缩方法。\acosp 的核心在于基于有效的温度退火调度,为分割模型中每个卷积的各个通道学习一种通道选择机制。我们展示了训练初期提供高容量模型与压缩压力迫使模型将概念压缩进保留通道之间的关键相互作用。我们将 \acosp 应用于 \segnet 和 \pspnet 架构,并展示了其在 \camvid、\city、\voc 和 \ade 数据集上训练的成功。结果在低压缩比下与现有分割模型压缩基线具有竞争力,在高压缩比下显著优于它们,即使在移除超过 参数时仍产生可接受结果。此外,\acosp 概念简单、易于实现,并可轻易推广到其他数据模态、任务和架构。我们的代码见 \url{https://github.com/merantix/acosp}。
引用
@article{arxiv.2201.11103,
title = {Auto-Compressing Subset Pruning for Semantic Image Segmentation},
author = {Konstantin Ditschuneit and Johannes S. Otterbach},
journal= {arXiv preprint arXiv:2201.11103},
year = {2022}
}
备注
10 pages, 5 figures, 1 table, appendix