RAIL：基于大语言模型的机器人可供性想象
机器人学
2024-06-10 v2
摘要
本文介绍了一种针对最小语义输入定制的自动可供性推理范式，以解决家庭环境中对未见类别物体进行分类和操作的关键挑战。受人类认知过程启发，我们的方法集成了生成式语言模型和基于物理的模拟器，以培养分析思维和对新颖可供性的创造性想象。我们的系统由分析、想象和评估三部分框架构成，将请求的可供性名称“分析”为基于交互的定义，“想象”虚拟场景，并“评估”物体可供性。如果某物体被识别为具有所请求的可供性，我们的方法还会预测实现该功能的最佳姿态，以及潜在用户如何与其进行交互。仅在3个可供性类别的少数合成示例上进行微调，我们的流程在8类新物体的可供性分类和功能姿态预测上实现了极高的成功率，优于基于学习的基线方法。通过真实机器人操作实验的验证，展示了所想象的用户交互的实际适用性，展现了系统在日常环境中独立概念化未见可供性并与新物体和场景交互的能力。
引用
@article{arxiv.2403.19369,
title = {RAIL: Robot Affordance Imagination with Large Language Models},
author = {Ceng Zhang and Xin Meng and Dongchen Qi and Gregory S. Chirikjian},
journal= {arXiv preprint arXiv:2403.19369},
year = {2024}
}