mrCAD：面向计算机辅助设计的多模态细化
人工智能
2025-04-30 v1 计算与语言
人机交互
摘要
人类协作的关键特征是能够迭代细化我们所传递的概念。相比之下，虽然生成式 AI 在内容生成方面表现出色，但往往在处理语言引导的特定修改方面存在挑战。为弥合人类与机器编辑方式之间的差距，我们提出 mrCAD，这是一个包含多模态指令的计算机辅助设计数据集。在每个游戏中，玩家通过多轮迭代来创建计算机辅助设计 (CAD) 并细化其以匹配特定目标设计。只有一位玩家（设计师）能够看到目标，他们必须使用文本、绘图或模态组合的方式指挥另一位玩家（制造者）。mrCAD 包含 6,082 场沟通游戏，15,163 轮指令执行，涉及 1,092 对人类玩家。我们分析了数据集，发现生成指令与细化指令在绘图与文本组成方面存在差异。使用 mrCAD 任务作为基准，我们发现最先进的视觉语言模型在遵循生成指令方面优于细化指令。这些结果为分析和建模一种在以前数据集中未表示的多模态语言细化奠定了基础。
引用
@article{arxiv.2504.20294,
title = {mrCAD: Multimodal Refinement of Computer-aided Designs},
author = {William P. McCarthy and Saujas Vaduguru and Karl D. D. Willis and Justin Matejka and Judith E. Fan and Daniel Fried and Yewen Pu},
journal= {arXiv preprint arXiv:2504.20294},
year = {2025}
}
备注
the first two authors contributed equally