基于深度卷积网络的动态场景联合语义与运动分割

动态场景理解是一个具有挑战性的问题，运动分割在解决该问题中起着关键作用。结合语义与运动增强了对动态场景的整体感知。对于户外机器人导航应用，联合学习方法尚未被广泛用于提取时空特征或将不同先验加入公式化中。在没有融入立体信息的情况下，任务变得更具挑战性。本文提出一种使用 CNN 融合语义特征与运动线索的方法，以解决单目语义运动分割问题。我们通过将光流作为约束与语义特征一起整合进空洞卷积网络，推导出语义与运动标签。该流程包括三个主要阶段，即特征提取、特征放大和多尺度上下文聚合，以融合语义与光流特征。我们的联合公式在具有挑战性的 KITTI 跟踪数据集上，相比最先进的方法在单目运动分割方面显示出显著改进。