Sketch2CAD:基于视觉Transformer从2D草图重建3D CAD模型
计算机视觉与模式识别
2025-02-21 v2
摘要
当前的3D重建方法通常生成体素、点云或网格形式的输出。然而,这些格式各自存在固有局限,如表面粗糙和结构扭曲。此外,这些数据类型不利于进一步的手动编辑和后处理。本文提出一种新颖的3D重建方法,旨在通过重建CAD兼容模型来克服这些缺点。我们训练了一个视觉Transformer(visual transformer),从单张2D线框图像预测“场景描述符”。该描述符包含物体类型和位置、旋转、尺寸等参数等关键信息。利用预测的参数,可通过具有可编程接口的3D建模软件(如Rhino Grasshopper)重建3D场景,以B-rep形式构建高度可编辑的3D模型。为评估所提模型,我们创建了两个数据集:一个由简单场景组成,另一个包含更复杂的场景。测试结果表明该模型能准确重建简单场景,同时也凸显了其在更复杂场景上的困难。
引用
@article{arxiv.2309.16850,
title = {Sketch2CAD: 3D CAD Model Reconstruction from 2D Sketch using Visual Transformer},
author = {Hong-Bin Yang},
journal= {arXiv preprint arXiv:2309.16850},
year = {2025}
}