CLIPSwarm:将文本转换为机器人群体队形
机器人学
2023-11-21 v1
摘要
我们提出 CLIPSwarm,一种从自然语言描述生成机器人群体队形的算法。CLIPSwarm 接收输入文本,并寻找机器人的位置以形成与给定文本对应的形状。为此,我们实现了蒙特卡洛粒子滤波的一种变体,以迭代方式获得匹配队形。在每次迭代中,我们生成一组新队形,并使用给定文本评估其 Clip 相似度,依据该度量选出最佳队形。此度量通过使用 CLIP([1],一个经训练将图像与文本编码至共同潜空间向量的现有基础模型)获得。这些向量间的比较决定了给定文本描述该形状的可能性。我们的初步概念验证展示了该方案仅从自然语言描述生成机器人群体队形的潜力,并展示了诸如 CLIP 等基础模型在多机器人系统领域的全新应用。在此首次方法中,我们使用凸包方法创建队形。后续步骤包括在获取合适群体队形的过程中更鲁棒且通用的表示与优化步骤。
引用
@article{arxiv.2311.11047,
title = {CLIPSwarm: Converting text into formations of robots},
author = {Pablo Pueyo and Eduardo Montijano and Ana C. Murillo and Mac Schwager},
journal= {arXiv preprint arXiv:2311.11047},
year = {2023}
}
备注
Please cite this article as "P. Pueyo, E. Montijano, A. C. Murillo, and M. Schwager, CLIPSwarm: Converting text into formations of robots. ICRA 2023 Workshop on Multi-Robot Learning"