鲁班：通过自主具身验证构建开放式创意智能体
人工智能
2024-05-27 v1
摘要
构建开放式智能体一直是人工智能研究的终极目标，而创意智能体则更具吸引力。现有的LLM智能体在具有明确定义目标（例如在Minecraft中“挖掘钻石”）的长时域任务中表现出色。然而，由于无法弥合开放目标和抽象标准之间的差距，它们在具有开放目标和抽象标准的创意任务上遇到困难，从而缺乏在解决任务时进行自我改进的反馈。在这项工作中，我们引入了自主具身验证技术来帮助智能体弥合这一差距，为创意任务奠定基础。具体来说，我们提出了面向Minecraft中创意搭建任务的鲁班智能体，它配备了受人类设计实践启发的两级自主具身验证：（1）对3D结构推测的视觉验证，该推测来自智能体合成的CAD建模程序；（2）通过基于抽象标准生成和验证环境相关功能程序，对创作进行实用验证。广泛的多维度人类研究和Elo评分表明，鲁班在我们提出的基准测试中完成了多样化的创意搭建任务，并在可视化和实用性方面均优于其他基线（33%至100%）。在真实世界机械臂上的额外演示展示了鲁班在物理世界中的创作潜力。
引用
@article{arxiv.2405.15414,
title = {Luban: Building Open-Ended Creative Agents via Autonomous Embodied Verification},
author = {Yuxuan Guo and Shaohui Peng and Jiaming Guo and Di Huang and Xishan Zhang and Rui Zhang and Yifan Hao and Ling Li and Zikang Tian and Mingju Gao and Yutai Li and Yiming Gan and Shuai Liang and Zihao Zhang and Zidong Du and Qi Guo and Xing Hu and Yunji Chen},
journal= {arXiv preprint arXiv:2405.15414},
year = {2024}
}