使用 Pepper 机器人支持手语交流

社交机器人在公共和辅助环境中的应用实验日益增多，但它们对聋哑用户的可及性仍处于探索不足的状态。意大利手语 (LIS) 是一种完全成熟的语言，依赖于复杂的手动和非手动成分。使机器人能够使用 LIS 进行交流可以促进更具包容性的人机交互，特别是在医院、机场或教育环境等社交场合。本研究调查了商用社交机器人 Pepper 是否能够产生可理解的 LIS 手势和简短的 LIS 手语句子。在一名聋哑学生及其口译员（一位 LIS 专家）的帮助下，我们使用手动动画技术或基于 MATLAB 的逆运动学求解器，在 Pepper 上共同设计并实现了 52 个 LIS 手势。我们进行了一项探索性用户研究，涉及 12 名精通 LIS 的参与者，包括聋哑人和听力正常者。参与者完成了一份问卷，包含 15 个基于视频的单选手势识别任务和 2 个关于简短手语句子的开放式问题。结果显示，大多数孤立手势被正确识别，尽管由于 Pepper 的有限关节活动和时间限制，完整句子的识别率显著较低。我们的研究结果表明，即使是像 Pepper 这样的商用社交机器人也能清晰地执行一部分 LIS 手势，为更具包容性的交互设计提供了一些机会。未来的发展应解决多模态增强问题（例如基于屏幕的支持或富有表现力的虚拟形象），并让聋哑用户参与参与式设计，以完善机器人的表现力和可用性。