用于语义分割的Transformer尺度门
计算机视觉与模式识别
2022-05-17 v1
摘要
有效编码多尺度上下文信息对于准确的语义分割至关重要。现有的基于Transformer的分割模型在不加选择的情况下跨尺度组合特征,其中次优尺度上的特征可能使分割结果变差。利用Vision Transformers的固有特性,我们提出了一个简单而有效的模块——Transformer尺度门(TSG),以最优地组合多尺度特征。TSG利用Vision Transformers中自注意力和交叉注意力中的线索进行尺度选择。TSG是一个高度灵活的即插即用模块,可轻松与任何基于编码器-解码器的分层视觉Transformer架构结合。在Pascal Context和ADE20K数据集上的大量实验表明,我们的特征选择策略取得了一致的增益。
关键词
引用
@article{arxiv.2205.07056,
title = {Transformer Scale Gate for Semantic Segmentation},
author = {Hengcan Shi and Munawar Hayat and Jianfei Cai},
journal= {arXiv preprint arXiv:2205.07056},
year = {2022}
}