Text2Touch：基于大语言模型设计奖励函数的触觉手内操作
机器人学
2025-09-10 v1 人工智能
摘要
大语言模型（LLMs）正开始自动化灵巧操作的奖励设计。然而，此前尚无工作考虑触觉感知，而已知触觉感知对于类人灵巧性至关重要。我们提出了Text2Touch，将LLM设计的奖励函数引入到具有挑战性的多轴手内物体旋转任务中，该任务在掌心向上和掌心向下的配置下使用基于真实世界视觉的触觉传感。我们的提示工程策略可扩展至超过70个环境变量，并且从仿真到现实的蒸馏使得策略能够成功迁移到触觉启用的全驱动四指灵巧机器人手上。Text2Touch显著优于精心调优的人工设计基线，展示了更优的旋转速度和稳定性，同时依赖的奖励函数简短和简单了一个数量级。这些结果说明了LLM设计的奖励函数如何能显著缩短从概念到可部署灵巧触觉技能的时间，从而支持更快速和可扩展的多模态机器人学习。项目网站：https://hpfield.github.io/text2touch-website
引用
@article{arxiv.2509.07445,
title = {Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions},
author = {Harrison Field and Max Yang and Yijiong Lin and Efi Psomopoulou and David Barton and Nathan F. Lepora},
journal= {arXiv preprint arXiv:2509.07445},
year = {2025}
}
备注
Accepted at CoRL 2025