用于产品反馈评估的多模态情感分析

消费者常对食品样品、香水、珠宝、太阳镜和服装配饰等产品做出丰富表情反应。本研究讨论了一种多模态情感识别系统，该系统通过分析消费者在柜台或自助服务亭试用产品后的面部表情、身体姿态、手势和语音，来分类消费者喜欢或不喜欢所试产品。系统采用了具备深度功能的相机与麦克风系统——Kinect for Windows。我们开发了情感识别引擎来分析图像与语音，以确定顾客的情感状态。图像利用肤色与自适应阈值进行分割。利用Haar级联分类器检测人脸、身体和手部。识别Canny边缘，并通过空间滤波提取嘴唇、身体和手部轮廓。围绕嘴、脸颊、眼睛、肩膀、手指的边缘数量与方向以及边缘位置被用作特征。分类通过情感模板映射算法以及使用支持向量机训练分类器完成。评估了在多模态情感识别用于反馈评估时的实时性能、准确率和可行性。