通过对抗式风格迁移实现风格无关的3D重建
计算机视觉与模式识别
2021-10-22 v1 机器学习
摘要
从图像中重建物体的三维几何结构是计算机视觉中的一大挑战。近期引入的可微渲染器可用于从二维图像学习物体的三维几何，但这类方法需要额外的监督以使渲染器产生可与输入图像比较的输出。这可以是场景信息或诸如物体轮廓、均匀背景、材质、纹理和光照等约束。本文提出一种方法，能够在无需轮廓监督的情况下，从带背景的图像中基于可微渲染学习三维物体。我们不再试图渲染出接近输入的图像，而是提出一种对抗式风格迁移与域适应流程，将输入图像域转换到渲染图像域。这使我们能够直接在翻译后的图像与三维物体重建的可微渲染之间进行比较，从而训练三维物体重建网络。我们表明，该方法能从带背景的图像中学习三维几何，且在此任务上的单视图三维物体重建性能优于受约束的方法。
引用
@article{arxiv.2110.10784,
title = {Style Agnostic 3D Reconstruction via Adversarial Style Transfer},
author = {Felix Petersen and Bastian Goldluecke and Oliver Deussen and Hilde Kuehne},
journal= {arXiv preprint arXiv:2110.10784},
year = {2021}
}
备注
To be published at WACV 2022, Code @ https://github.com/Felix-Petersen/style-agnostic-3d-reconstruction