BiSeNet 的复仇：高效多任务图像分割
计算机视觉与模式识别
2024-04-16 v1
摘要
图像分割的最新进展集中在提高模型的效率，以满足实时应用的需求，特别是在边缘设备上。然而，现有研究主要集中在单任务设置上，尤其是语义分割，导致针对不同任务的冗余工作和专用架构。为了解决这一局限性，我们提出了一种用于高效多任务图像分割的新型架构，能够在不牺牲效率或精度的情况下处理各种分割任务。我们引入了 BiSeNetFormer，它利用了双流语义分割架构的效率，并将其扩展到掩码分类框架中。我们的方法保持了高效的空间路径和上下文路径以分别捕获细节和语义信息，同时利用高效的基于 Transformer 的分割头来计算二值掩码和类别概率。通过无缝支持多个任务，即语义分割和全景分割，BiSeNetFormer 为多任务分割提供了一种通用解决方案。我们在流行的数据集 Cityscapes 和 ADE20K 上评估了我们的方法，展示了令人印象深刻的推理速度，同时与 SOTA 架构相比保持了有竞争力的精度。我们的结果表明，BiSeNetFormer 代表了向快速、高效和多任务分割网络迈出的重要一步，弥合了模型效率与任务适应性之间的差距。
引用
@article{arxiv.2404.09570,
title = {The revenge of BiSeNet: Efficient Multi-Task Image Segmentation},
author = {Gabriele Rosi and Claudia Cuttano and Niccolò Cavagnero and Giuseppe Averta and Fabio Cermelli},
journal= {arXiv preprint arXiv:2404.09570},
year = {2024}
}
备注
Accepted to ECV workshop at CVPR2024