DeformNet：用于从单张图像进行 3D 形状重建的自由变形网络
计算机视觉与模式识别
2017-08-17 v1 图形学
摘要
从单张图像进行 3D 重建是从机器人操作到增强现实等众多应用中的关键问题。先前的方法通过生成模型来解决这一问题，将 3D 重建预测为体素或点云。然而，这些方法计算成本高昂且缺乏精细细节。我们引入了一个用于 3D 数据变形的新的可微层，并在 DeformNet 中使用它来学习一个通过变形进行 3D 重建的模型。DeformNet 接受图像输入，从数据库中搜索最近的形状模板，并变形该模板以匹配查询图像。我们在 ShapeNet 数据集上评估了我们的方法，并表明：(a) 自由变形层是处理 3D 数据的深度学习模型的一个强大的新构建块；(b) DeformNet 使用该 FFD 层结合形状检索，能够实现平滑且保留细节的 3D 重建，产生相对于单张查询图像在定性上合理的点云；(c) 与其他 SOTA 3D 重建方法相比，DeformNet 在定量上匹配或以显著优势超越了它们的基准。更多信息请访问：https://deformnet-site.github.io/DeformNet-website/ 。
引用
@article{arxiv.1708.04672,
title = {DeformNet: Free-Form Deformation Network for 3D Shape Reconstruction from a Single Image},
author = {Andrey Kurenkov and Jingwei Ji and Animesh Garg and Viraj Mehta and JunYoung Gwak and Christopher Choy and Silvio Savarese},
journal= {arXiv preprint arXiv:1708.04672},
year = {2017}
}
备注
11 pages, 9 figures, NIPS