RT-K-Net：重新审视K-Net以实现实时全景分割
计算机视觉与模式识别
2023-08-07 v2
摘要
全景分割是最具挑战性的场景解析任务之一，它结合了语义分割与实例分割两项任务。尽管已取得诸多进展，但鲜有工作关注全景分割方法的实时应用。本文重新审视了近期提出的K-Net架构。我们对架构、训练与推理流程进行了关键改进，大幅降低了延迟并提升了性能。我们所得到的RT-K-Net在Cityscapes数据集上树立了实时全景分割方法的新SOTA性能，并在具有挑战性的Mapillary Vistas数据集上展现出有前景的结果。在Cityscapes上，RT-K-Net在单张Titan RTX GPU上对全分辨率1024x2048像素图像达到60.2% PQ，平均推理时间为32毫秒。在Mapillary Vistas上，RT-K-Net达到33.2% PQ，平均推理时间为69毫秒。源代码见 https://github.com/markusschoen/RT-K-Net。
引用
@article{arxiv.2305.01255,
title = {RT-K-Net: Revisiting K-Net for Real-Time Panoptic Segmentation},
author = {Markus Schön and Michael Buchholz and Klaus Dietmayer},
journal= {arXiv preprint arXiv:2305.01255},
year = {2023}
}