PRSeg：一种用于语义分割的轻量级块旋转 MLP 解码器
计算机视觉与模式识别
2023-05-02 v1
摘要
基于轻量级 MLP 的解码器在语义分割中日益展现出前景。然而，通道级 MLP 无法扩展感受野，缺乏对语义分割至关重要的上下文建模能力。本文提出一种无参数的块旋转操作以在空间上重组像素：先将特征图分为多组，再旋转各组内的图像块。基于所提块旋转操作，我们设计了一种新颖的分割网络 PRSeg，其包含现成主干网络与轻量级块旋转 MLP 解码器，该解码器含多个动态块旋转块（DPR-Block）。在每个 DPR-Block 中，全连接层接续块旋转模块（PRM）以交换像素间空间信息。具体而言，在 PRM 中，特征图依据动态通道选择模块（DCSM）的预测概率沿通道维分为保留部分与旋转部分，我们所提块旋转操作仅作用于旋转部分。在 ADE20K、Cityscapes 与 COCO-Stuff 10K 数据集上的大量实验证明了方法的有效性。期望我们的 PRSeg 能推动基于 MLP 的解码器在语义分割中的发展。
引用
@article{arxiv.2305.00671,
title = {PRSeg: A Lightweight Patch Rotate MLP Decoder for Semantic Segmentation},
author = {Yizhe Ma and Fangjian Lin and Sitong Wu and Shengwei Tian and Long Yu},
journal= {arXiv preprint arXiv:2305.00671},
year = {2023}
}
备注
Accepted by IEEE TCSVT