DynamicStereo:来自立体视频的一致动态深度
计算机视觉与模式识别
2023-05-04 v1 人工智能
摘要
我们考虑从立体相机观测的动态场景重建问题。大多数现有的立体深度方法独立处理不同立体帧,导致时间上不一致的深度预测。时间一致性对于沉浸式AR或VR场景尤为关键,其中闪烁会极大损害用户体验。我们提出DynamicStereo,一种基于transformer的新架构,用于估计立体视频的视差。该网络学习从相邻帧汇聚信息,以改善其预测的时间一致性。我们的架构通过分离注意力层高效处理立体视频。我们还引入Dynamic Replica,一个新的基准数据集,包含扫描环境中人与动物的合成视频,相比现有数据集,它提供了更贴近实际应用的动态立体补充训练与评估数据。使用该数据集训练进一步提升了我们提出的DynamicStereo及先前方法的预测质量。最后,它作为一致立体方法的基准。
引用
@article{arxiv.2305.02296,
title = {DynamicStereo: Consistent Dynamic Depth from Stereo Videos},
author = {Nikita Karaev and Ignacio Rocco and Benjamin Graham and Natalia Neverova and Andrea Vedaldi and Christian Rupprecht},
journal= {arXiv preprint arXiv:2305.02296},
year = {2023}
}
备注
CVPR 2023; project page available at https://dynamic-stereo.github.io/