CAD-Assistant：工具增强的视觉大语言模型作为通用 CAD 任务求解器
计算机视觉与模式识别
2025-08-27 v3 人工智能
机器学习
机器人学
摘要
我们提出了 CAD-Assistant，一种用于 AI 辅助设计的通用 CAD 智能体。我们的方法基于强大的视觉大语言模型（VLLM）作为规划器，以及使用 CAD 专用工具的工具增强范式。CAD-Assistant 通过生成动作来处理多模态用户查询，这些动作在配备了 FreeCAD 软件的 Python 解释器上迭代执行，并通过其 Python API 进行访问。我们的框架能够评估生成的 CAD 命令对几何形状的影响，并根据 CAD 设计的演变状态调整后续动作。我们考虑了广泛的 CAD 专用工具，包括草图图像参数化器、渲染模块、2D 横截面生成器以及其他专用例程。CAD-Assistant 在多个 CAD 基准上进行了评估，其表现优于 VLLM 基线和有监督的特定任务方法。除了现有基准之外，我们还在各种工作流程中定性展示了工具增强的 VLLM 作为通用 CAD 求解器的潜力。
引用
@article{arxiv.2412.13810,
title = {CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers},
author = {Dimitrios Mallis and Ahmet Serdar Karadeniz and Sebastian Cavada and Danila Rukhovich and Niki Foteinopoulou and Kseniya Cherenkova and Anis Kacem and Djamila Aouada},
journal= {arXiv preprint arXiv:2412.13810},
year = {2025}
}