CReFT-CAD: 通过强化微调提升 CAD 的正交投影推理
计算机视觉与模式识别
2025-10-21 v2
摘要
计算机辅助设计 (CAD) 在工业制造中发挥着关键作用。正交投影推理支撑着整个 CAD 工作流程，涵盖设计、制造和仿真。然而，主流的深度学习方法采用标准 3D 重建流水线作为替代方案，这通常会引入不精确的尺寸，并限制 CAD 工作流程所需的参数化可编辑性。最近，一些研究人员采用视觉语言模型 (VLMs)，特别是监督微调 (SFT)，来应对与 CAD 相关的挑战。SFT 展现出潜力，但往往退化为模式记忆，在复杂推理任务上的分布外性能较差。为了填补这些空白，我们引入了 CReFT-CAD，一种两阶段微调范式：首先采用基于课程驱动的强化学习阶段，结合难度感知奖励来稳步构建推理能力，然后应用监督后微调以精炼指令遵循和语义提取。作为补充，我们发布了 TriView2CAD，这是首个用于正交投影推理的大规模开源基准，包含 200,000 个合成正交投影和 3,000 个真实世界正交投影，具有精确的尺寸标注和六种可互操作的数据模态。我们在正交投影推理上对领先的 VLMs 进行了基准测试，并证明 CReFT-CAD 显著提升了真实世界场景中的推理准确性和分布外泛化能力，为推进 CAD 推理研究提供了有价值的见解。
引用
@article{arxiv.2506.00568,
title = {CReFT-CAD: Boosting Orthographic Projection Reasoning for CAD via Reinforcement Fine-Tuning},
author = {Ke Niu and Zhuofan Chen and Haiyang Yu and Yuwen Chen and Teng Fu and Mengyang Zhao and Bin Li and Xiangyang Xue},
journal= {arXiv preprint arXiv:2506.00568},
year = {2025}
}