更深入地预测语义分割的未来

预测并因此预见未来的能力是智能的重要属性。这对于实时系统（例如机器人或自动驾驶）也至关重要，这些系统依赖视觉场景理解来进行决策。虽然先前的工作已经研究了未来视频帧中原始 RGB 像素值的预测，但在此我们引入了预测未来帧语义分割这一新颖任务。给定一段视频帧序列，我们的目标是预测未来一秒或更长时间内尚未观测到的视频帧的分割图。我们开发了一个自回归卷积神经网络，该网络学习迭代地生成多帧。我们在 Cityscapes 数据集上的结果表明，直接预测未来分割图，明显优于先预测未来 RGB 帧再进行分割的方法。未来长达半秒的预测结果在视觉上令人信服，并且比基于光流扭曲语义分割的基线方法准确得多。