利用语义边界提升语义分割

在本文中，我们提出语义边界条件化骨干网络 (SBCB) 框架，一种简单而有效的训练框架，其模型无关并能提升分割性能，尤其在边界周围。受近期通过引入边界作为辅助任务来改进语义分割发展的启发，我们提出一个以语义边界检测 (SBD) 作为辅助任务的多任务框架。SBCB 框架利用 SBD 任务与语义分割互补的特性，来改进分割头的骨干网络。我们应用一个利用骨干网络多尺度特征的 SBD 头，模型在较早阶段学习低级特征，在较晚阶段学习高级语义理解。该头完美补充了常用语义分割架构——后者使用较晚阶段的特征进行分类。我们仅通过条件化骨干网络，便可在推理时不增加额外参数的情况下改进语义分割模型。通过大量评估，我们展示了 SBCB 框架的有效性：在 Cityscapes 数据集上将多种流行分割头与骨干网络提升 0.5% ~ 3.0% IoU，并在边界 F 分数上获得 1.6% ~ 4.1% 的提升。我们还将此框架应用于定制化骨干网络与新兴的视觉 Transformer 模型，展示了 SBCB 框架的有效性。