基于空间细节引导上下文传播的真实实时语义分割
计算机视觉与模式识别
2022-03-22 v5
摘要
如今，基于视觉的计算任务在各种现实应用中发挥着重要作用。然而，许多视觉计算任务（如语义分割）通常计算开销大，这对资源受限但要求快速响应的计算系统构成挑战。因此，开发仅需有限计算资源且准确、实时的视觉处理模型具有重要价值。为此，我们提出空间细节引导上下文传播网络（SGCPNet）以实现实时语义分割。在 SGCPNet 中，我们提出空间细节引导上下文传播策略。其利用浅层的空间细节引导低分辨率全局上下文的传播，从而有效重建丢失的空间信息。如此一来，沿网络维持高分辨率特征的需求被解除，大幅提升了模型效率。另一方面，由于空间细节的有效重建，分割精度仍得以保持。实验中，我们验证了所提 SGCPNet 模型的有效性与高效性。例如在 Cityscapes 数据集上，我们的 SGCPNet 取得了 69.5% mIoU 分割精度，同时在 GeForce GTX 1080 Ti GPU 卡上对 768x1536 图像的速度达到 178.5 FPS。此外，SGCPNet 非常轻量，仅含 0.61 M 参数。
引用
@article{arxiv.2005.11034,
title = {Real-time Semantic Segmentation via Spatial-detail Guided Context Propagation},
author = {Shijie Hao and Yuan Zhou and Yanrong Guo and Richang Hong and Jun Cheng and Meng Wang},
journal= {arXiv preprint arXiv:2005.11034},
year = {2022}
}
备注
The paper has been accepted in the IEEE Transactions on Neural Networks and Learning Systems