SCTNet: 融合Transformer语义信息的单分支CNN实时分割网络
计算机视觉与模式识别
2024-01-17 v2
摘要
最近的实时语义分割方法通常采用额外的语义分支来追求丰富的长程上下文。然而，额外的分支带来了不必要的计算开销并减慢了推理速度。为了解决这一困境，我们提出了SCTNet，一种融合Transformer语义信息的单分支CNN用于实时分割。SCTNet在享受无推理开销语义分支的丰富语义表示的同时，保留了轻量级单分支CNN的高效率。SCTNet利用Transformer作为仅训练时的语义分支，考虑到其提取长程上下文的卓越能力。借助所提出的类Transformer CNN块CFBlock和语义信息对齐模块，SCTNet能够在训练中捕获来自Transformer分支的丰富语义信息。在推理时，仅需部署单分支CNN。我们在Cityscapes、ADE20K和COCO-Stuff-10K上进行了大量实验，结果表明我们的方法达到了新的最先进性能。代码和模型可在https://github.com/xzz777/SCTNet获取。
引用
@article{arxiv.2312.17071,
title = {SCTNet: Single-Branch CNN with Transformer Semantic Information for Real-Time Segmentation},
author = {Zhengze Xu and Dongyue Wu and Changqian Yu and Xiangxiang Chu and Nong Sang and Changxin Gao},
journal= {arXiv preprint arXiv:2312.17071},
year = {2024}
}
备注
Accepted by AAAI 2024; typos corrected; code and models have been released at https://github.com/xzz777/SCTNet