GeLaTO：生成式潜纹理物体
计算机视觉与模式识别
2020-08-12 v1 图形学
机器学习
摘要
对具有透明、反射和薄结构的 3D 物体进行精确建模是一个极具挑战性的问题。受计算机图形学中广告牌和几何代理的启发，本文提出生成式潜纹理物体（GeLaTO），一种紧凑表示，其结合一组定义低频几何的粗糙形状代理与学习到的神经纹理，以编码中尺度和细尺度几何以及视角相关外观。为生成代理的纹理，我们学习一个联合潜空间，允许类别级外观与几何插值。这些代理以其对应神经纹理独立光栅化，并使用 U-Net 合成，生成包含 alpha 图的写实输出图像。我们通过从稀疏视角集重建复杂物体证明了方法的有效性。我们在真实眼镜框图像数据集上展示了结果，该类物体尤其难以用经典方法重建。我们还证明，当底层物体几何易于建模（如眼镜）时这些粗糙代理可手工制作，或针对更复杂类别（如汽车）用神经网络生成。
引用
@article{arxiv.2008.04852,
title = {GeLaTO: Generative Latent Textured Objects},
author = {Ricardo Martin-Brualla and Rohit Pandey and Sofien Bouaziz and Matthew Brown and Dan B Goldman},
journal= {arXiv preprint arXiv:2008.04852},
year = {2020}
}
备注
ECCV 2020 Spotlight. Project website: https://gelato-paper.github.io