RDMM：面向设备内机器人决策的精调大语言模型模型，提升特定领域的情境感知能力
机器人学
2025-01-29 v1 人工智能
摘要
大型语言模型（LLM）代表了将物理机器人与人工智能驱动系统集成的重要进展。我们展示了该框架在真实家庭竞赛情境中的能力。本研究引入了RDMM（Robotics Decision-Making Models）框架，该框架具备在特定领域语境下的决策能力，以及对自身知识与能力的自我认知。该框架利用信息来增强系统的自主决策。与其他方法不同，我们关注实时、设备内解决方案，成功运行于最低仅需8GB内存的硬件上。该框架集成了视觉感知模型，使机器人能够理解其环境。此外，框架集成了实时语音识别功能，从而提升了人机交互体验。实验结果表明，RDMM框架可实现93%的决策准确率。此外，我们引入了包含2.7万个规划实例以及1.3千个文本-图像标注样本的新型数据集，源自该竞赛。本工作开发的框架、基准、数据集和模型已公开发布于GitHub仓库（https://github.com/shadynasrat/RDMM）。
引用
@article{arxiv.2501.16899,
title = {RDMM: Fine-Tuned LLM Models for On-Device Robotic Decision Making with Enhanced Contextual Awareness in Specific Domains},
author = {Shady Nasrat and Myungsu Kim and Seonil Lee and Jiho Lee and Yeoncheol Jang and Seung-joon Yi},
journal= {arXiv preprint arXiv:2501.16899},
year = {2025}
}