MERCI：多模态情感与个人化对话交互数据集

对话式智能体的日常化应用日益增多，但许多智能体无法与人类进行深层交互。尽管如此，捕获人机交互对话中多模态信息的数据集却显得不足。为弥补这一差距，我们记录了一个新的多模态数据集（MERCI），其中包含丰富的具身交互数据。该过程包括让参与者完成问卷并收集其关于十个话题（如兴趣爱好和最爱音乐）的个人资料。随后，我们启动了机器人与参与者之间的对话，利用GPT-4生成基于参与者个人资料和情感状态（由面部表情识别和情感分析确定）的情境相关响应。对收集的数据进行了自动评估和用户评估，以评估整体质量。两项评估的结果均表明，对话的自然性、参与度、流畅性、一致性和相关性都很高，机器人能够提供具有共情力的响应。值得注意的是，该数据集源于与机器人的真实交互，涉及提供个人信息并表达真实情感的参与者。