基于 Pepper、轻量型 Transformer 与 LLM 的手语识别系统
机器人学
2023-10-02 v1 计算与语言
计算机视觉与模式识别
人机交互
摘要
本研究探索使用轻量级深度神经网络架构，使人形机器人 Pepper 能够理解美国手语（ASL）并促进非言语的人机交互。首先，我们引入一种针对嵌入式系统优化的轻量高效 ASL 理解模型，在节省计算资源的同时确保快速的手势识别。在此基础上，我们采用大语言模型（LLM）实现智能机器人交互。通过精细的提示工程，我们定制交互方式，使 Pepper 机器人生成自然的伴语手势响应，为更自然直观的人形机器人对话奠定基础。最后，我们呈现一个集成的软件流水线，体现了具有社会感知的 AI 交互模型的进展。借助 Pepper 机器人的能力，我们在真实场景中展示了方法的实用性与有效性。结果凸显了通过非言语交互增强人机交互、弥合沟通鸿沟并使技术更可及可理解的深远潜力。
引用
@article{arxiv.2309.16898,
title = {A Sign Language Recognition System with Pepper, Lightweight-Transformer, and LLM},
author = {JongYoon Lim and Inkyu Sa and Bruce MacDonald and Ho Seok Ahn},
journal= {arXiv preprint arXiv:2309.16898},
year = {2023}
}