双目视频的单目化
图像与视频处理
2021-03-29 v1 图形学
摘要
本文提出双目视频单目化(mono-nizing)的思想及有效实现该思想的框架。单目化意指我们有意将双目视频转换为常规单目视频,其中立体信息以视觉上近乎不可察觉的形式隐式编码。因此,我们可以像普通单目视频一样公正地分发和播放该单目化视频。与普通单目视频不同,我们可从中恢复原始双目视频并在立体显示器上播放。首先,我们构建了一个编码-解码框架,包含金字塔可变形融合模块以利用左右视间的长程对应关系、量化层以抑制恢复伪影,以及压缩噪声模拟模块以抵抗现代视频编解码器引入的压缩噪声。我们的框架是自监督的,因为我们以定义于输入上的损失项来表述目标函数:用于生成单目化视频的单目项、用于恢复原始视频的可逆项,以及用于帧间一致性的时间项。此外,我们进行了大量实验,针对多种类型图像与3D电影评估所生成的单目化视频与恢复的双目视频。基于标准指标与用户感知研究的定量结果表明了方法的有效性。
引用
@article{arxiv.2009.01424,
title = {Mononizing Binocular Videos},
author = {Wenbo Hu and Menghan Xia and Chi-Wing Fu and Tien-Tsin Wong},
journal= {arXiv preprint arXiv:2009.01424},
year = {2021}
}
备注
16 pages, 17 figures. Accepted in Siggraph Asia 2020