别调皮——使用大语言模型在与桌面机器人Haru的对话中生成富有表现力的机器人行为

社交机器人旨在通过引人入胜的对话与人类建立长期联系。然而，依赖于脚本化交互的传统对话方法往往难以维持有吸引力的对话。本文通过将大语言模型集成到社交机器人中，以实现更动态和富有表现力的对话，从而解决这一局限性。我们介绍了一个全自动对话系统，利用大语言模型生成带有与机器人个性一致的表达性行为的机器人响应。我们通过两种模态融入机器人行为：1）能够实现多种表达风格文本转语音引擎，2）机器人的物理动作库。我们开发了一个自定义的、最先进的情绪识别模型，以动态选择机器人的语调，并利用大语言模型输出中的表情符号作为生成机器人动作的线索。我们的系统演示可在此处获取。为了阐明设计和实现问题，我们进行了一项初步研究，让志愿者使用我们提出的系统与社交机器人聊天，并分析他们的反馈，对聊天记录进行严格的错误分析。反馈非常积极，参与者称赞机器人的共情能力、帮助性、自然性和娱乐性。大多数负面反馈是由于自动语音识别错误，这些错误对对话影响有限。然而，我们观察到一小类错误，例如大语言模型重复自身或虚构虚假信息和人类回应，这些错误有可能破坏对话，引发了大语言模型应用中的重要问题。