基于光流引导记忆单元的时间一致深度预测
计算机视觉与模式识别
2019-09-17 v1
摘要
从单目视频序列预测深度是自动驾驶中的一项重要任务。尽管过去几年取得了显著进展,但基于卷积神经网络(CNN)的近期方法丢弃了视频序列中的时间相干性,并对每一帧独立估计深度,这常导致随时间出现不期望的不一致结果。为解决该问题,我们提出记忆视频序列中的时间一致性,并将其用于深度预测任务。为此,我们引入一个具有光流引导记忆模块的双流 CNN,其中每个流分别编码视觉与 temporal 特征。该记忆模块使用卷积门控循环单元(ConvGRU)实现,顺序输入视觉与 temporal 特征以及针对本任务定制的光流。它选择性地记忆各特征轨迹并随时间传播空间信息,从而赋予预测结果长期时间一致性。我们在 KITTI 基准数据集上从深度预测精度、时间一致性与运行时间方面评估了我们的方法,并取得了新的最优结果。我们还提供了广泛的实验分析,清晰证明了我们所提记忆时间一致性用于深度预测方法的有效性。
引用
@article{arxiv.1909.07074,
title = {Temporally Consistent Depth Prediction with Flow-Guided Memory Units},
author = {Chanho Eom and Hyunjong Park and Bumsub Ham},
journal= {arXiv preprint arXiv:1909.07074},
year = {2019}
}
备注
IEEE Transactions on Intelligent Transportation Systems