面向深度特权语义分割的困难像素挖掘

语义分割已取得显著进展，但由于场景复杂、物体遮挡等原因仍具挑战性。一些研究工作尝试使用额外信息（如深度图）来辅助基于 RGB 的语义分割，因为深度图可以提供互补的几何线索。然而，由于深度传感器难以获取，测试图像的深度信息通常不可用。在本文中，我们仅利用训练图像的深度作为特权信息来挖掘语义分割中的困难像素，其中深度信息仅对训练图像可用，而对测试图像不可用。具体来说，我们提出了一种新颖的损失权重模块，该模块通过采用困难像素的两个深度相关度量——深度预测误差和深度感知分割误差——来输出损失权重图。然后将该损失权重图应用于分割损失，旨在通过更多地关注困难像素来学习更鲁棒的模型。此外，我们还探索了一种基于损失权重图的课程学习策略。同时，为了在不同尺度上充分挖掘困难像素，我们将损失权重模块应用于多尺度侧输出。我们的困难像素挖掘方法在两个基准数据集上取得了最先进的结果，甚至优于在测试期间需要深度输入的方法。