一种无需渲染即可从单张 2D 图像生成 3D 模型的有效损失函数
计算机视觉与模式识别
2021-05-03 v2 人工智能
摘要
可微渲染是一种非常成功的技术，应用于单视图 3D 重建。当前渲染器使用基于像素的损失，通过某重建 3D 物体的渲染图像与给定匹配视点的真实图像之间的差异，来优化 3D 形状参数。这些模型需要渲染步骤，以及可见性处理与着色模型评估。本文的主要目标是证明我们可以避开这些步骤，仍获得与其他最先进模型相当甚至优于现有类别特定重建方法的重建结果。首先，我们采用与 Insafutdinov & Dosovitskiy 相同的 CNN 架构来预测点云形状与位姿。其次，我们提出新颖的有效损失函数，评估重建 3D 点云的投影对真实物体轮廓的覆盖程度。随后我们使用泊松表面重建将重建点云转化为 3D 网格。最后，我们在特定 3D 网格上执行基于 GAN 的纹理映射，从单张 2D 图像生成带纹理的 3D 网格。我们在不同数据集（包括 ShapeNet、CUB-200-2011 和 Pascal3D+）上评估了我们的方法，并在性能、精度与训练时间上均取得最先进结果，优于所有其他监督与无监督方法及 3D 表示。
引用
@article{arxiv.2103.03390,
title = {An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering},
author = {Nikola Zubić and Pietro Liò},
journal= {arXiv preprint arXiv:2103.03390},
year = {2021}
}
备注
21 page, 13 figures, 6 tables, to appear as a full paper with oral contribution in AIAI 2021