基于单张量的时序融合用于道路线条和标志的分割

可靠的道路线条和标志分割是自动驾驶的关键任务。我们的工作基于以下观察：道路线条和标志（1）在有移动车辆、阴影和眩光的环境下常常被遮挡，且（2）结构化程度高，类别内形状变异小，整体外观一致性强。为解决这些问题，我们提出了单张量引导的融合模块（HomoFusion），用于挖掘相邻视频帧中的互补线索，以辅助正确分类被部分遮挡的道路线条或标志。为降低计算复杂度，提出了一种新型表面法向估计器，用于在抽取的帧之间建立空间对应关系，使HomoFusion模块能够在更新被遮挡道路线条或标志的表示时执行像素级注意力机制。在ApolloScape大规模车道标志分割数据集以及含人工模拟夜间道路条件的ApolloScape Night数据集上的实验表明，我们的方法在参数和计算复杂度均小于其他现有SOTA车道标志分割模型的9%。我们展示，利用可用相机内参数据和地面平面假设进行跨帧对应，可以构建轻量级网络，在速度和准确性方面实现显著提升。我们还通过将其应用于水坑分割问题，证明了HomoFusion方法的通用性，实现了SOTA性能。