移动设备上基于 CNN 的人脸情感分析

本文关注移动设备上用于人脸情感分析的卷积神经网络（CNN）架构的设计、部署与评估。与传统 CNN 方法不同，部署到移动设备的模型必须在保持高性能的同时最小化存储需求。因此我们提出三种成熟 CNN 架构的变体，并在一个大规模、真实场景的人脸图像基准数据集上对其进行比较评估。我们的结果表明，所提架构在最小化存储需求的同时保持了与数据集基线相似的性能：在八类情绪分类上达到 58% 准确率，在效价/唤醒度预测上平均 RMSE 为 0.39。为证明部署这些模型于实际应用的可行性，我们实现了一个基于预测用户情感的音乐推荐界面。尽管 CNN 模型并非在音乐推荐背景下训练，我们的案例研究表明：(i) 训练模型达到了与基准数据集相似的预测性能，(ii) 用户倾向于对界面提供的歌曲推荐给出正面评价。所部署模型在 iPhone 6S 上的平均运行时间相当于约 45 fps，表明所提架构也非常适合在视频流上实时部署。