SegBlocks：用于实时分割的基于块动态分辨率网络
计算机视觉与模式识别
2022-08-08 v2
摘要
SegBlocks 通过根据图像区域的复杂度动态调整处理分辨率，降低了现有神经网络的计算成本。我们的方法将图像分割为块，并对低复杂度块进行下采样，从而减少操作数和内存消耗。一个轻量级策略网络通过强化学习训练以选择复杂区域。此外，我们引入了若干在 CUDA 中实现的模块以分块处理图像。最重要的是，我们新颖的 BlockPad 模块避免了现有方法所遭受的块边界特征不连续问题，同时将内存消耗控制在合理范围。我们在 Cityscapes、Camvid 和 Mapillary Vistas 语义分割数据集上的实验表明，与复杂度相近的静态基线相比，动态处理图像提供了更好的精度-复杂度权衡。例如，我们的方法将 SwiftNet-RN18 的浮点运算量减少了 60%，推理速度提升了 50%，而在 Cityscapes 上 mIoU 精度仅下降 0.3%。
引用
@article{arxiv.2011.12025,
title = {SegBlocks: Block-Based Dynamic Resolution Networks for Real-Time Segmentation},
author = {Thomas Verelst and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:2011.12025},
year = {2022}
}
备注
long version, 12 pages. Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence