PERCY：面向情感化对话的个人化机器人 conversational system

传统基于规则的对话机器人受限于预定义脚本和静态响应映射，缺乏针对个性化长期人类互动的适应性。尽管大型语言模型（LLM）如GPT-4通过开放域对话能力革新了对话AI，但当前实施LLM的社交机器人仍缺乏情感意识和持续性人格化功能。这种双重局限性阻碍了其在多次互动会话中维持参与度的能力。我们提出PERCY（Personal Emotional Robotic Conversational sYstem），一个设计用于通过动态分析用户实时面部表情和词汇内容，以其情感状态为依据调整响应的系统。基于ROS构建的多模态框架，PERCY集成了微调的GPT-4推理引擎，结合文本情感分析与视觉情感线索，准确评估并响应用户情绪。我们通过多项对话质量指标评估了PERCY的性能，显示其在连贯性、相关性和多样性方面表现突出。人类评估显示PERCY在个性化方面优于其他模型，同时在自然度上与其他模型持平。这一工作凸显了在社交机器人对话系统中集成先进多模态感知与人格化潜力的可能性。