平面上的抖动：从无稳像摄影中进行无监督深度估计
计算机视觉与模式识别
2023-03-30 v2
摘要
现代移动连拍摄影流水线捕获并融合短序列帧以恢复增强图像，但常忽视所捕获场景的 3D 本质，将图像间的像素运动视为 2D 聚合问题。我们表明，在“长连拍”（两秒序列中捕获的四十二帧 1200 万像素 RAW 帧）中，仅来自自然手部抖动的视差信息就足以恢复高质量场景深度。为此，我们设计了一种测试时优化方法，将神经 RGB-D 表示拟合到长连拍数据，并同时估计场景深度与相机运动。我们的平面加深度模型以端到端方式训练，并通过控制在训练期间网络何时可访问哪些多分辨率体特征来进行由粗到细的优化。我们通过实验验证了该方法，并展示了无需额外硬件或单独数据预处理与位姿估计步骤的几何精确深度重建。
引用
@article{arxiv.2212.12324,
title = {Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography},
author = {Ilya Chugunov and Yuxuan Zhang and Felix Heide},
journal= {arXiv preprint arXiv:2212.12324},
year = {2023}
}
备注
Project page: https://light.princeton.edu/publication/soap