面向社交机器人的基于神经网络的凝视控制系统开发

在多方交互过程中，凝视方向是兴趣与意图的关键指示符，对于社交机器人而言，正确地引导注意力至关重要。理解社交情境对机器人有效参与、预测人类意图以及顺利导航交互至关重要。本研究旨在基于参与者数据，使用深度神经网络制定人类在 various social situations（如进入、离开、挥手、交谈和指向）中的凝视行为的经验运动时间模式。我们创建了两个视频剪辑——一个用于计算机屏幕，另一个用于虚拟现实头戴式设备——以呈现不同的社交情境。数据来自 30 名参与者：15 名使用眼动追踪仪，15 名使用 Oculus Quest 1 头戴式设备。我们使用长短期记忆网络（LSTM）和 Transformer 等深度学习模型来分析和预测凝视模式。我们的模型在 2D 动画中预测凝视方向的准确率为 60%，在 3D 动画中的准确率为 65%。随后，我们将最佳模型实现于 Nao 机器人上；36 名新参与者对其性能进行评估。反馈显示整体满意度较高，具有机器人经验的用户对模型的评价更为 favorable。