面向高效三维计算机图形背景生成的多样化合理360度图像外绘
计算机视觉与模式识别
2022-03-29 v1
摘要
我们致力于通过估计单张窄视场图像的周边环境来生成360度图像。以往方法存在对训练分辨率的过拟合以及确定性生成的缺陷。本文提出一种使用transformer进行场景建模的补全方法，以及用于在输出图像上改善360度图像特性的新方法。具体而言，我们使用带transformer的CompletionNets执行多样化补全，并使用AdjustmentNet与输入图像在颜色、拼接和分辨率上匹配，从而实现任意分辨率下的推理。为改善输出图像上360度图像的特性，我们还提出了WS感知损失与循环推理。充分实验表明，我们的方法在定性与定量上均优于最先进（SOTA）方法。例如，与SOTA方法相比，我们的方法补全图像分辨率大16倍，且Frechet inception distance（FID）低1.7倍。此外，我们提出了一条利用补全结果用于三维计算机图形场景光照与背景的流水线。我们合理的背景补全在插入具有镜面表面的虚拟物体的应用中实现了感知自然的结果。
引用
@article{arxiv.2203.14668,
title = {Diverse Plausible 360-Degree Image Outpainting for Efficient 3DCG Background Creation},
author = {Naofumi Akimoto and Yuhi Matsuo and Yoshimitsu Aoki},
journal= {arXiv preprint arXiv:2203.14668},
year = {2022}
}
备注
Accepted to CVPR 2022. Project page: https://akmtn.github.io/omni-dreamer/