组合式机器的智能体设计

复杂机器的设计既是人类智能的标志，也是工程实践的基础。鉴于大型语言模型（LLM）的最新进展，我们探究它们是否也能学会创造。我们通过组合式机器设计的视角来探讨这个问题：在该任务中，机器由标准化组件组装而成，以满足模拟物理环境中的运动或操作等功能需求。通过这种简化，机器设计被表达为编写明确指定成对部件连接的类似XML的代码。为支持这项研究，我们引入了BesiegeField，一个基于机器建造游戏Besiege构建的测试平台，它支持基于部件的构建、物理模拟和奖励驱动的评估。利用BesiegeField，我们使用智能体工作流程对最先进的LLM进行了基准测试，并确定了成功所需的关键能力，包括空间推理、策略性组装和指令遵循。鉴于当前的开源模型表现不佳，我们探索了强化学习（RL）作为改进途径：我们整理了一个冷启动数据集，进行了RL微调实验，并强调了在语言、机器设计和物理推理交叉领域存在的开放挑战。