一种用于细粒度越野语义分割的主动与对比学习框架

具有细粒度标签的越野语义分割对于自动驾驶车辆理解驾驶场景是必要的，因为粗粒度的道路检测无法满足具有不同机械特性的越野车辆。由于自然环境的模糊性，越野场景中的细粒度语义分割通常没有统一的类别定义，且像素级标注的成本极高。此外，由于各种降水、温度、落叶等，越野场景的语义属性可能非常易变。为应对这些挑战，本研究提出一种基于主动与对比学习的方法，该方法不依赖像素级标签，仅依赖基于图像块的弱标注进行模型学习。无需预定义语义类别，基于对比学习的特征表示与自适应聚类将从场景数据中发现类别模型。为主动适应新场景，提出一种风险评价方法以发现并选择具有高预测风险的困难帧进行补充标注，从而高效更新模型。在我们自主开发的越野数据集与 DeepScene 数据集上的实验表明，仅需数十个弱标注帧即可学习细粒度语义分割，且模型可通过弱监督高效跨场景适应，同时达到与典型全监督基线几乎相同的性能水平。