自监督多帧单目场景流
计算机视觉与模式识别
2021-05-06 v1 机器学习
机器人学
摘要
从单目图像序列估计3D场景流因其简单、经济的采集设置而日益受到关注。由于该问题的严重不适定性，当前方法的精度受限，尤其是高效实时方法。本文提出一种基于自监督学习的多帧单目场景流网络，在保持实时效率的同时较先前网络提升了精度。基于具有分离解码器设计的先进两帧基线，我们提出(i)使用三帧输入与卷积LSTM连接的多帧模型，(ii)用于更高精度的遮挡感知census损失，以及(iii)用于提升训练稳定性的梯度分离策略。在KITTI数据集上，我们观察到基于自监督学习的单目场景流方法中达到最先进精度。
引用
@article{arxiv.2105.02216,
title = {Self-Supervised Multi-Frame Monocular Scene Flow},
author = {Junhwa Hur and Stefan Roth},
journal= {arXiv preprint arXiv:2105.02216},
year = {2021}
}
备注
To appear at CVPR 2021. Code available: https://github.com/visinf/multi-mono-sf