个性化适配的多模态对话系统

本文描述了为2022年对话机器人竞赛开发的一种个性化自适应多模态对话系统。为实现根据用户调整对话策略的对话系统，有必要考虑用户的非语言信息与性格。在本竞赛中，我们构建了一个在对话过程中估计用户性格的用户自适应对话系统原型。使用预训练的DNN模型来估计标注为大五人格得分的用户性格。该模型被嵌入对话系统中，以在对话过程中根据人脸图像估计用户性格。我们提出了一种对话管理方法，基于估计的性格特征改变对话流程，并在该竞赛的预赛中确认了系统在真实环境中的运行。此外，我们实现了特定模块以增强用户的沉浸式多模态对话体验，包括性格评估、控制安卓机器人的面部表情与动作，以及用于讲解旅游景点吸引力的对话管理。基于性格评估的对话旨在减轻用户的紧张感，并起到破冰作用。安卓机器人的面部表情与动作对于更自然的机器人对话是必要的。由于本竞赛的任务是宣传旅游景点的吸引力并推荐合适的旅游景点，如何讲解景点吸引力的对话过程十分重要。所有用户主观评价结果均优于该竞赛中基线及其他系统。所提对话系统在“印象评分”与“安卓推荐有效性”两项均排名第一。根据竞赛的总评，所提系统总体排名第一。