逃离柏拉图洞穴：基于对抗渲染的三维形状重建
计算机视觉与模式识别
2021-06-11 v4 图形学
摘要
我们提出 PlatonicGAN，用于从非结构化的二维图像集合中发掘某一对象类别的三维结构，即除已知这些照片展示的是同一类别的实例外，图像之间无任何已知关联。其核心思想是训练一个深度神经网络生成三维形状，这些形状在多种相机位姿下被渲染为图像时，对于判别器而言与真实图像无法区分。通过判别二维图像而非三维形状，可以利用非结构化的二维照片集合，而无需依赖经过整理（如对齐、标注等）的三维数据集。为了在二维图像观测与其三维解释之间建立约束，我们提出了一族高效可微的渲染层，包括视觉外壳、仅吸收（类似于 X 射线）以及发射-吸收。我们能够从非结构化二维图像中成功重建三维形状，并在一系列合成与真实数据集上对 PlatonicGAN 进行了广泛评估，相较基线方法取得了一致的改进。我们进一步表明，PlatonicGAN 可与三维监督相结合，在质量上超越三维监督方法，在某些情况下甚至优于后者。
引用
@article{arxiv.1811.11606,
title = {Escaping Plato's Cave: 3D Shape From Adversarial Rendering},
author = {Philipp Henzler and Niloy Mitra and Tobias Ritschel},
journal= {arXiv preprint arXiv:1811.11606},
year = {2021}
}