基于联合翻译-立体学习的夜间立体深度估计：光照效应与无信息区域

夜间立体深度估计仍具挑战性，因为与白天光照条件相关的假设不再成立。夜间不仅涉及低光照与密集噪声，还包括辉光/眩光、光斑、光照非均匀分布等。一种可能的解决方案是在夜间立体图像上以全监督方式训练网络。然而，获取密集、独立于辉光/眩光且具备足够远深度范围的恰当视差真值是极其困难的。为解决问题，我们引入一个联合昼夜翻译与立体的网络。在训练该网络时，我们的方法不需要夜间图像的视差真值，也不需要成对的昼夜图像。我们利用一个翻译网络将白天立体图像渲染为逼真的夜间立体图像。随后我们使用相应白天立体图像可用的视差监督在渲染的夜间立体图像上训练立体网络，并同时训练昼夜翻译网络。我们通过添加结构保持与加权平滑约束，处理由无监督/非成对翻译引起的、因光照效应（如辉光/眩光）与无信息区域（如低光照与饱和区域）所产生的伪深度问题。我们的实验表明，该方法在夜间图像上优于基线方法。