利用孔径渲染生成对抗网络从自然图像中无监督学习深度与景深效果
计算机视觉与模式识别
2021-06-25 v1 机器学习
图像与视频处理
机器学习
摘要
从 2D 投影自然图像理解 3D 世界是计算机视觉与图形学中的基本挑战。近来，无监督学习方法因其在数据收集上的优势而获得相当关注。然而，为缓解训练局限，典型方法需要对视点分布（例如含多种视点图像的数据集）或物体形状（例如对称物体）施加假设。这些假设常限制应用；例如，对非刚性物体或从相似视点捕获的图像（如花或鸟的图像）的应用仍具挑战。为补充这些方法，我们提出孔径渲染生成对抗网络（AR-GANs），其在 GANs 之上装备孔径渲染，并采用聚焦线索来学习无标签自然图像的深度与景深（DoF）效果。为解决无监督设定引发的歧义（即平滑纹理与离焦模糊之间、以及前景与背景模糊之间的歧义），我们发展了 DoF 混合学习，使生成器在学习真实图像分布的同时生成多样的 DoF 图像。此外，我们设计了一种中心聚焦先验以引导学习方向。在实验中，我们展示了 AR-GANs 在花、鸟和人脸等多种数据集上的有效性，通过将其融入其他 3D 表示学习 GANs 证明了其可移植性，并验证了其在浅景深渲染中的适用性。
引用
@article{arxiv.2106.13041,
title = {Unsupervised Learning of Depth and Depth-of-Field Effect from Natural Images with Aperture Rendering Generative Adversarial Networks},
author = {Takuhiro Kaneko},
journal= {arXiv preprint arXiv:2106.13041},
year = {2021}
}
备注
Accepted to CVPR 2021 (Oral). Project page: https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/ar-gan/