一种用于实时前景分割的去雨语义分割网络
计算机视觉与模式识别
2021-04-19 v1
摘要
专门针对雨天环境下实时语义分割的研究甚少。然而该领域需求巨大，且对轻量级网络而言具有挑战性。因此，本文提出一种专为雨天环境下前景分割设计的轻量级网络，称为去雨语义分割网络（DRSNet）。通过分析雨滴特征，有针对性地设计 MultiScaleSE Block 对输入图像进行编码，其利用多尺度空洞卷积增大感受野，并采用 SE 注意力机制学习各通道权重。为结合不同编码器与解码器层间的语义信息，提出使用 Asymmetric Skip，即编码器高层语义经双线性插值后通过点卷积输出，再逐元素加到解码器低层语义上。对照实验表明，在前景准确率（Foreground Accuracy）指标上，MultiScaleSE Block 与 Asymmetric Skip 相较于 SEResNet18 与 Symmetric Skip 均有一定提升。DRSNet 的参数与浮点运算量（FLOPs）分别仅为 0.54M 与 0.20GFLOPs。在输入尺寸为 192*128、384*256 与 768*512 时，于 UESTC 全天候场景加雨（UAS-add-rain）与百度人像分割加雨（BPS-add-rain）基准上均取得 SOTA 结果与实时性能。DRSNet 速度超过 1GFLOPs 内所有网络，且前景准确率指标在两项基准的同量级网络中亦最优。
引用
@article{arxiv.2104.07877,
title = {A De-raining semantic segmentation network for real-time foreground segmentation},
author = {Fanyi Wang and Yihui Zhang},
journal= {arXiv preprint arXiv:2104.07877},
year = {2021}
}
备注
12 pages, 7 figures