SpatialMe：使用深度扭曲和混合修补的立体视频转换
计算机视觉与模式识别
2024-12-17 v1
摘要
立体视频转换旨在将单目视频转换为沉浸式立体格式。尽管新视角合成取得了进展，但仍存在两个主要挑战：i) 难以实现高保真且稳定的结果，以及 ii) 高质量立体视频数据的不足。在本文中，我们介绍了SpatialMe，一种基于深度扭曲和混合修补的新型立体视频转换框架。具体来说，我们提出了一种基于掩码的层次特征更新（MHFU）精炼器，它使用特征更新单元（FUU）和掩码机制集成并精炼来自设计的多分支修补模块的输出。我们还提出了一种视差扩展策略来解决前景渗色问题。此外，我们构建了一个高质量的真实世界立体视频数据集——StereoV1K，以缓解数据短缺问题。该数据集包含1000个在真实世界中以1180×1180分辨率拍摄的立体视频，涵盖各种室内和室外场景。大量实验证明了我们的方法在生成立体视频方面优于最先进的方法。
引用
@article{arxiv.2412.11512,
title = {SpatialMe: Stereo Video Conversion Using Depth-Warping and Blend-Inpainting},
author = {Jiale Zhang and Qianxi Jia and Yang Liu and Wei Zhang and Wei Wei and Xin Tian},
journal= {arXiv preprint arXiv:2412.11512},
year = {2024}
}