PeriGuru：一种基于 GUI 图像理解和 LLM 提示的外设式机器人移动应用操作助手
机器人学
2024-09-17 v1 人工智能
摘要
智能手机显著度增强了我们的日常学习、通信和娱乐，成为现代生活中必不可少的组成部分。然而，老年人和残障人士等特定人群在使用智能手机时会遇到挑战，从而需要移动应用操作助手，即所谓的移动应用智能体。在考虑到隐私、权限和跨平台兼容性问题的前提下，我们努力设计和开发了 PeriGuru，这是一个基于 GUI 图像理解和大语言模型（LLM）提示的外设式机器人移动应用操作助手。PeriGuru 利用一套计算机视觉技术分析 GUI 屏幕截图图像，并运用 LLM 来指示行动决策，这些决策随后由机器人臂执行。PeriGuru 在测试任务集合上的成功率达到 81.94%，显著优于不具备 PeriGuru GUI 图像解释和提示设计的方法，其成功率仅为其一半以上。我们的代码已在 https://github.com/Z2sJ4t/PeriGuru 上提供。
引用
@article{arxiv.2409.09354,
title = {PeriGuru: A Peripheral Robotic Mobile App Operation Assistant based on GUI Image Understanding and Prompting with LLM},
author = {Kelin Fu and Yang Tian and Kaigui Bian},
journal= {arXiv preprint arXiv:2409.09354},
year = {2024}
}