用于语义分割的高层特征引导解码
计算机视觉与模式识别
2023-11-30 v3
摘要
现有基于金字塔的上采样器(如 SemanticFPN)虽高效,但在使用相同骨干网络时通常比基于膨胀的模型结果精度更低。部分原因在于受污染的高层特征——它们在有限数据上与含噪低层特征融合并微调。为解决此问题,我们提出使用强大的预训练高层特征作为引导(HFG),使上采样器能产生鲁棒结果。具体而言,\emph{仅}使用骨干网络的高层特征训练类别 token,随后由上采样器复用于分类,将上采样器特征引导至更具判别性的骨干特征。HFG 的一个关键设计是通过恰当的 stop-gradient 操作保护高层特征免受污染,使骨干不因来自上采样器的噪声梯度而更新。为推高 HFG 上限,我们引入上下文增强编码器(CAE),可高效且有效地作用于低分辨率高层特征,从而改进表示并带来更好引导。我们将完整方案命名为高层特征引导解码器(HFGD)。我们在 Pascal Context、COCOStuff164k 与 Cityscapes 三个基准上评估所提 HFGD。在不使用额外训练数据的方法中,HFGD 取得了 SOTA 结果,证明了其有效性与泛化能力。
引用
@article{arxiv.2303.08646,
title = {High-level Feature Guided Decoding for Semantic Segmentation},
author = {Ye Huang and Di Kang and Shenghua Gao and Wen Li and Lixin Duan},
journal= {arXiv preprint arXiv:2303.08646},
year = {2023}
}
备注
Revised version, refactored presentation and added more experiments