基于机器学习的群体情感识别

自动面部情感识别是一项具有挑战性的任务，在过去几年中引起了极大的科学兴趣，但针对人群的情感识别问题研究较少。然而，由于社交网络站点上存在大量包含参与各类社交活动人群的图像，该问题正逐渐受到关注。由于头部和身体姿态变化、遮挡、光照条件多变、参与者差异、室内外环境多样以及图像质量等因素的阻碍，群体情感识别是一个极具挑战性的问题。该任务的目标是将群体的感知情感分类为积极、中性或消极。在本报告中，我们描述了一种结合深度神经网络和贝叶斯分类器的混合机器学习系统解决方案。深度卷积神经网络 (CNN) 采用自下而上的方式，分析从图像中提取的个体面部所表达的面部表情。贝叶斯网络采用自上而下的方式，通过整合由场景描述符获取的图像内容的视觉特征，推断图像的全局情感。在最终的流程中，由自下而上模块中的 CNN 集成预测出的群体情感类别被作为输入传递给自上而下模块中的贝叶斯网络，从而获得图像的整体预测结果。实验结果表明，所述系统在验证集上达到了 65.27% 的准确率，与现有先进水平的结果一致。作为该项目的成果，我们呈现了一款渐进式 Web 应用和一款附带的 Android 应用，其具有简单直观的用户界面，允许用户使用自己的图片测试该系统。