PixHt-Lab：基于像素高度的光照效果生成用于图像合成
计算机视觉与模式识别
2023-03-02 v1 图形学
摘要
阴影或反射等光照效果是使合成图像逼真且具视觉吸引力的关键。为生成此类效果，传统计算机图形学使用基于物理的渲染器与 3D 几何。为弥补 2D 图像合成中几何的缺失，近期基于深度学习的方法引入了像素高度表示以生成柔和阴影与反射。然而，几何的缺失限制了所生成柔和阴影的质量，并将反射约束为纯镜面反射。我们提出 PixHt-Lab，一种利用从像素高度表示到 3D 空间显式映射的系统。借助该映射，PixHt-Lab 重建抠图与背景几何，并为图像合成渲染逼真且多样的光照效果。给定具有基于物理的材质的表面，我们可渲染具有不同光泽度的反射。为生成更逼真的柔和阴影，我们进一步提出使用 3D 感知缓冲通道来引导神经渲染器。定量与定性评估均表明 PixHt-Lab 显著改进了柔和阴影生成。
引用
@article{arxiv.2303.00137,
title = {PixHt-Lab: Pixel Height Based Light Effect Generation for Image Compositing},
author = {Yichen Sheng and Jianming Zhang and Julien Philip and Yannick Hold-Geoffroy and Xin Sun and HE Zhang and Lu Ling and Bedrich Benes},
journal= {arXiv preprint arXiv:2303.00137},
year = {2023}
}
备注
11 pages, 10 figures