用于RGB-D全景分割的鲁棒双编码器网络
计算机视觉与模式识别
2023-06-16 v2
摘要
感知对现实环境中作业的机器人至关重要，因为自主系统需要看见并理解周围世界以正确行动。全景分割通过计算每个像素的语义标签及实例ID来解读场景。本文利用室内场景的RGB-D数据解决全景分割问题。我们提出一种新颖的编码器-解码器神经网络，通过两个编码器分别处理RGB与深度。各编码器的特征在不同分辨率上逐步融合，从而利用互补的深度信息增强RGB特征。我们提出一种称为ResidualExcite的新颖融合方法，依据特征图各元素的重要性对其重新加权。借助双编码器架构，我们对缺失线索具有鲁棒性。特别地，同一模型可在RGB-D、仅RGB及仅深度输入数据上训练与推断，无需训练专用模型。我们在公开数据集上评估了该方法，结果表明相较其他常见全景分割方法取得了更优结果。
引用
@article{arxiv.2210.02834,
title = {Robust Double-Encoder Network for RGB-D Panoptic Segmentation},
author = {Matteo Sodano and Federico Magistri and Tiziano Guadagnino and Jens Behley and Cyrill Stachniss},
journal= {arXiv preprint arXiv:2210.02834},
year = {2023}
}