SLIDE：基于软分层与深度感知修复的单图像 3D 摄影

Varun Jampani; Huiwen Chang; Kyle Sargent; Abhishek Kar; Richard Tucker; Michael Krainin; Dominik Kaeser; William T. Freeman; David Salesin; Brian Curless; Ce Liu

SLIDE：基于软分层与深度感知修复的单图像 3D 摄影

计算机视觉与模式识别 2021-09-03 v1 图形学

作者: Varun Jampani , Huiwen Chang , Kyle Sargent , Abhishek Kar , Richard Tucker , Michael Krainin , Dominik Kaeser , William T. Freeman , David Salesin , Brian Curless , Ce Liu

在 arXiv 上查看 ↗ PDF ↗

摘要

单图像 3D 摄影使观看者能够从新视角观察静止图像。近期方法将单目深度网络与修复网络相结合以取得令人信服的结果。这些技术的一个缺陷是使用硬深度分层，使其无法建模诸如细发状结构等复杂外观细节。我们提出 SLIDE，一个用于单图像 3D 摄影的模块化统一系统，其采用简单而有效的软分层策略以更好地在新视角中保留外观细节。此外，我们为修复模块提出了一种新颖的深度感知训练策略，更适用于 3D 摄影任务。所得的 SLIDE 方法是模块化的，可使用分割与抠图等其他组件以改进分层。同时，SLIDE 采用高效的层化深度表述，仅需对各组件网络进行一次前向传播即可生成高质量 3D 照片。在三个视角合成数据集上的大量实验分析，结合对野生图像集合的用户研究，表明我们的技术相较于现有强基线具有更优性能，且概念上更为简单。项目页面：https://varunjampani.github.io/slide

关键词

单图像 3D 摄影软分层深度感知修复视角合成单目深度 SLIDE

引用

@article{arxiv.2109.01068,
  title  = {SLIDE: Single Image 3D Photography with Soft Layering and Depth-aware Inpainting},
  author = {Varun Jampani and Huiwen Chang and Kyle Sargent and Abhishek Kar and Richard Tucker and Michael Krainin and Dominik Kaeser and William T. Freeman and David Salesin and Brian Curless and Ce Liu},
  journal= {arXiv preprint arXiv:2109.01068},
  year   = {2021}
}

备注

ICCV 2021 (Oral); Project page: https://varunjampani.github.io/slide ; Video: https://www.youtube.com/watch?v=RQio7q-ueY8

SLIDE：基于软分层与深度感知修复的单图像 3D 摄影

摘要

关键词

引用

备注

相关论文