迈向自适应社交游戏机器人：一种基于离线强化学习的框架

人机交互（HRI）研究日益要求机器人超越任务执行，对用户情绪做出有意义的响应。在基于游戏的学习场景中支持有学习困难的学生时，这一点尤其必要。在此，这些机器人的目标是训练用户掌握游戏技能，这要求机器人获取关于用户兴趣和参与度的输入。在本文中，我们提出了一个自适应社交游戏机器人系统。然而，通过在线强化学习（RL）创建这样的智能体需要大量的真实世界训练数据，并且可能让用户感到不适。为了解决这个问题，我们研究了离线RL作为一种安全高效的替代方案。我们介绍了一种集成多模态情绪识别和自适应机器人响应的系统架构。我们还使用从真实世界人机游戏场景中收集的数据集评估了各种离线RL算法的性能。我们的结果表明，BCQ和DDQN对超参数变化具有最强的鲁棒性，而CQL在缓解过估计偏差方面最为有效。通过这项研究，我们旨在为真实世界社交机器人中可靠离线RL策略的选择和设计提供信息。最终，这项工作为创建能够完全从离线数据集学习复杂且情绪自适应行为的社交智能体奠定了基础，确保了人类舒适性和实际可扩展性。