Reality3DSketch：基于单张手绘草图快速三维建模物体
人机交互
2023-10-30 v1
摘要
AR/VR 的新兴趋势对 3D 内容提出了巨大需求。然而，现有大多数软件需要专业知识，新手用户难以使用。本文旨在创建基于草图的建模工具，以实现用户友好的 3D 建模。我们引入了 Reality3DSketch，其具有新颖的沉浸式 3D 建模体验应用：用户可使用单目 RGB 相机捕捉周围场景，并在实时重建的 3D 场景中绘制物体的单张草图。借助我们以单张草图为输入的新型神经网络，可生成 3D 物体并放置于期望位置。我们的神经网络能预测绘图的姿态，并将单张草图转化为具有视角与结构感知的 3D 模型，从而解决稀疏草图输入与视角模糊性的挑战。我们在合成与真实世界数据集上进行了大量实验，在草图视角估计与 3D 建模性能上均取得了最先进（SOTA）结果。根据用户研究，我们在场景中进行 3D 建模的方法比传统方法快 5 倍以上。用户对生成 3D 模型的满意度也高于现有方法的结果。
引用
@article{arxiv.2310.18148,
title = {Reality3DSketch: Rapid 3D Modeling of Objects from Single Freehand Sketches},
author = {Tianrun Chen and Chaotao Ding and Lanyun Zhu and Ying Zang and Yiyi Liao and Zejian Li and Lingyun Sun},
journal= {arXiv preprint arXiv:2310.18148},
year = {2023}
}
备注
IEEE Transactions on MultiMedia