3D-LatentMapper：视点无关的单视图三维形状重建
计算机视觉与模式识别
2022-12-06 v1 人工智能
摘要
计算机图形学、三维计算机视觉与机器人学社区已提出多种表示和生成三维形状的方法，以及大量用例。然而，单视图重建仍是一个具有挑战性的课题，其可解锁诸如交互式设计等多种有趣用例。在本工作中，我们提出了一种新颖框架，利用 Vision Transformer（ViT）与联合图像-文本表示模型 CLIP 的中间潜在空间，实现快速高效单视图重建（SVR）。更具体地，我们提出了一种新颖的映射网络架构，学习从 ViT 和 CLIP 提取的深度特征与基础三维生成模型潜在空间之间的映射。与以往工作不同，我们的方法支持视点无关的三维形状重建，即使在存在大面积遮挡的情况下亦如此。我们使用 ShapeNetV2 数据集并进行大量实验，与 SOTA 方法比较以证明我们方法的有效性。
引用
@article{arxiv.2212.02184,
title = {3D-LatentMapper: View Agnostic Single-View Reconstruction of 3D Shapes},
author = {Alara Dirik and Pinar Yanardag},
journal= {arXiv preprint arXiv:2212.02184},
year = {2022}
}
备注
Accepted to NeurIPS - WiML workshop 2022