动态剪枝SegFormer以实现高效语义分割
计算机视觉与模式识别
2021-11-19 v1 机器学习
摘要
作为计算机视觉任务中成功的基于Transformer的模型之一，SegFormer在语义分割中展现出优越性能。然而，高计算成本极大挑战了SegFormer在边缘设备上的部署。本文旨在设计轻量化的SegFormer以实现高效语义分割。基于SegFormer各层神经元在不同图像间表现出较大方差的观察，我们提出了动态门控线性层，其根据输入样本剪枝掉最无信息量的神经元集合。为改进动态剪枝后的SegFormer，我们还引入了两阶段知识蒸馏，将原始教师网络中的知识迁移至剪枝后的学生网络。实验结果表明，我们的方法能在无明显性能下降的情况下显著降低SegFormer的计算开销。例如，在ADE20K上仅用3.3G FLOPs即可达到36.9% mIoU，节省超过60%计算量且mIoU仅下降0.5%。
引用
@article{arxiv.2111.09499,
title = {Dynamically pruning segformer for efficient semantic segmentation},
author = {Haoli Bai and Hongda Mao and Dinesh Nair},
journal= {arXiv preprint arXiv:2111.09499},
year = {2021}
}