中文

光线条件化:在多视角图像生成中以照片一致性换取照片真实感

计算机视觉与模式识别 2023-09-06 v2

摘要

多视角图像生成因其在三维相关应用(如图像视角编辑)中的前景而近来备受关注。大多数现有方法遵循这样一种范式:先合成三维表示,再将其渲染为二维图像,以确保各视角间的照片一致性。然而,这种对照片一致性的显式偏置牺牲了照片真实感,导致在将这些方法应用于编辑真实图像时出现几何伪影并丢失细粒度细节。为解决此问题,我们提出光线条件化(ray conditioning),一种放宽照片一致性约束的无几何替代方案。我们的方法通过将二维 GAN 条件化于光场先验来生成多视角图像。凭借显式的视角控制、最先进的照片真实感与身份一致性,我们的方法尤其适用于视角编辑任务。

关键词

引用

@article{arxiv.2304.13681,
  title  = {Ray Conditioning: Trading Photo-consistency for Photo-realism in Multi-view Image Generation},
  author = {Eric Ming Chen and Sidhanth Holalkere and Ruyu Yan and Kai Zhang and Abe Davis},
  journal= {arXiv preprint arXiv:2304.13681},
  year   = {2023}
}

备注

ICCV 2023 paper. Project page at https://ray-cond.github.io/