Panoptic SwiftNet：面向实时全景分割的金字塔融合方法
计算机视觉与模式识别
2023-04-19 v2
摘要
稠密全景预测是许多现有应用（如自动驾驶、自动化仓储或遥感）的关键组成部分。其中许多应用需要在廉价甚至嵌入式硬件上对大输入分辨率进行快速推理。我们提出通过以骨干网络容量换取多尺度特征提取来实现这一目标。与同期全景分割方法相比，我们方法的主要创新在于高效的尺度等变特征提取、通过金字塔融合的跨尺度上采样，以及像素到实例分配的边界感知学习。由于典型城市级和区域级数据集中的像素数量巨大，所提方法非常适用于遥感影像。我们在Cityscapes、Vistas、COCO和BSB-Aerial数据集上展示了全景实验。我们的模型在BSB-Aerial数据集上优于当前最优（SOTA）方法，同时借助FP16精度和TensorRT优化，能在RTX3090 GPU上每秒处理一百余张1MPx图像。
引用
@article{arxiv.2203.07908,
title = {Panoptic SwiftNet: Pyramidal Fusion for Real-time Panoptic Segmentation},
author = {Josip Šarić and Marin Oršić and Siniša Šegvić},
journal= {arXiv preprint arXiv:2203.07908},
year = {2023}
}
备注
Code available at: https://github.com/jsaric/panoptic-swiftnet