基于时间非参数融合的多视图立体

我们提出一种从多视图图像-位姿对进行深度估计的新思路，该模型能够利用场景先前潜空间编码中的信息。该模型使用图像与位姿对，通过编码器-解码器模型估计视差。新颖之处在于通过非参数高斯过程先验对瓶颈层进行软约束。我们提出一种位姿核结构，鼓励相似位姿具有相近的潜空间。高斯过程（GP）先验的灵活性为融合先前视图信息提供自适应记忆。我们端到端联合训练编码器-解码器与 GP 超参数。除批处理方法外，我们推导一种轻量估计方案，规避高斯过程推断中扩展的标准陷阱，并展示该方案如何在智能设备上实时运行。