用于时序场景分割的移位记忆网络

语义分割在理解空间布局方面已取得很高的精度。针对基于动态场景的实时任务，我们将语义分割扩展到时间域，以利用运动信息增强空间精度。我们对流式输入采用移位模式网络，以确保零延迟输出。针对移位网络下的数据重叠问题，本文识别出跨网络层在固定周期内的重复计算。为避免该冗余，我们从编码-解码基线推导出移位记忆网络（SMN），在不损失精度的情况下复用网络数值。SMN以块模式训练，提取网络参数以在紧凑内存中快速执行推理。我们从一维扫描输入和二维视频中分割动态场景。SMN的实验取得了与移位模式相当的精度，但推理速度更快、内存占用更小。这将有助于语义分割在边缘设备上的实时应用。