DepthSync：基于扩散引导的尺度与几何一致视频深度估计
计算机视觉与模式识别
2025-08-08 v2
摘要
基于扩散的视频深度估计方法取得了显著成功，具备强大的泛化能力。然而，对长视频进行深度预测仍具有挑战性。现有方法通常将视频分割为重叠的滑动窗口，导致随着窗口数量增加，不同窗口之间积累尺度偏差。此外，这些方法仅依赖二维扩散先验，忽略了视频深度固有的三维几何结构，导致几何上不一致的预测。本文提出了DepthSync，一种新颖的、无需训练的框架，利用扩散引导实现长视频的尺度与几何一致深度预测。具体而言，我们引入尺度引导以跨窗口同步深度尺度，引入几何引导以基于视频深度中固有的三维约束在窗口内执行几何对齐。这两个术语协同工作，引导去噪过程趋向一致的深度预测。在 various 数据集上的实验验证了该方法在提高尺度和几何一致性方面的有效性，尤其是在长视频上。
引用
@article{arxiv.2507.01603,
title = {DepthSync: Diffusion Guidance-Based Depth Synchronization for Scale- and Geometry-Consistent Video Depth Estimation},
author = {Yue-Jiang Dong and Wang Zhao and Jiale Xu and Ying Shan and Song-Hai Zhang},
journal= {arXiv preprint arXiv:2507.01603},
year = {2025}
}
备注
Accepted by ICCV 2025; Project Homepage: https://yuejiangdong.github.io/depthsync