CADCrafter：从无约束图像生成计算机辅助设计模型
计算机视觉与模式识别
2025-04-11 v2
摘要
从物理世界创建 CAD 数字孪 replica 对制造、设计和仿真至关重要。然而，当前方法通常依赖高成本的 3D 扫描，需繁琐的后处理。为提供用户友好的设计流程，本文探索了从无约束真实世界 CAD 图像进行逆向工程的问题，这些图像可以轻易被所有经验用户捕获。然而，稀缺的真实世界 CAD 数据对直接训练此类模型构成挑战。为克服此挑战，我们提出 CADCrafter，一种基于合成纹理无关 CAD 数据训练、在真实世界图像上测试的图像到参数化 CAD 模型生成框架。为弥合图像与参数化 CAD 模型之间巨大的表示差异，我们引入几何编码器以准确捕捉多样化的几何特征。此外，几何特征的纹理无关性也有助于实现在真实场景中的泛化。由于将 CAD 参数序列编译为显式 CAD 模型是不可微的过程，网络训练本质上缺乏显式几何监督。为施加几何有效性约束，我们采用直接偏好优化（DPO）通过自动代码检查器对 CAD 序列质量进行微调。此外，我们收集了一个真实世界数据集，包含多视角图像和相应的 CAD 命令序列对，用于评估该方法。实验结果表明，我们的方法能够稳健处理真实无约束 CAD 图像，并甚至泛化到未见的常规对象。
引用
@article{arxiv.2504.04753,
title = {CADCrafter: Generating Computer-Aided Design Models from Unconstrained Images},
author = {Cheng Chen and Jiacheng Wei and Tianrun Chen and Chi Zhang and Xiaofeng Yang and Shangzhan Zhang and Bingchen Yang and Chuan-Sheng Foo and Guosheng Lin and Qixing Huang and Fayao Liu},
journal= {arXiv preprint arXiv:2504.04753},
year = {2025}
}
备注
Accepted to CVPR2025