通过掩蔽遮挡改进自监督单目深度估计
计算机视觉与模式识别
2019-08-30 v1
摘要
单目深度估计模型可利用视频片段，以视图合成为监督信号，通过自监督端到端方法进行训练。这是通过一个预测深度与相机运动的框架实现的，其损失基于从时间相邻帧重建目标视频帧。在此背景下，遮挡指场景中能在目标帧中观测到、但在用于图像重建的帧中无法观测到的部分。由于图像重建基于从相邻帧采样，而遮挡区域按定义无法被采样，重建的遮挡区域会破坏监督信号。在先前工作 arXiv:1806.01260 中，遮挡基于重建误差处理：在每个像素位置，仅将误差最小的重建纳入损失。本研究旨在确定，通过在训练中仅忽略受遮挡影响的区域，能否提升深度估计模型的性能。我们在此引入遮挡掩码（occlusion mask），一种在训练中可用于专门忽略因遮挡而无法重建区域的掩码。遮挡掩码完全基于预测的深度信息。我们提出两种融入遮挡掩码的新损失形式。arXiv:1806.01260 的方法与实现既作为我们改进的基础，也作为实验中的基线。我们证明：(i) 在损失函数中融入遮挡掩码可提升单图像深度预测模型在 KITTI 基准上的性能；(ii) 基于误差从重建中选择的损失函数能够忽略部分由物体运动引起的重投影误差。
引用
@article{arxiv.1908.11112,
title = {Improving Self-Supervised Single View Depth Estimation by Masking Occlusion},
author = {Maarten Schellevis},
journal= {arXiv preprint arXiv:1908.11112},
year = {2019}
}