使用单模态隐私安全非个体方法进行群体级情绪识别
计算机视觉与模式识别
2020-09-16 v1 机器学习
摘要
本文呈现我们针对2020年自然场景情绪识别(EmotiW)挑战赛1中音视频群体情绪识别子任务的单模态隐私安全且非个体的方案。该子挑战旨在将自然场景视频分类为三类:积极、中性与消极。近期深度学习模型在分析人际交互、预测人类行为与情感评估方面展现出巨大进展。然而,其性能来源于基于个体的分析,即汇总并平均来自个体检测的分数,这不可避免地导致一些隐私问题。本研究中,我们探究了一种节俭方法,以构建能够从整幅图像捕捉全局情绪、而不使用人脸或姿态检测、或任何基于个体的特征作为输入的模型。所提方法混合了最先进与专用的合成语料库作为训练来源。通过对群体级情绪识别的神经网络架构深入探索,我们建立了基于VGG的模型,在VGAF测试集上达到59.13%准确率(挑战赛第十一名)。鉴于该分析仅基于全局特征为单模态,且性能在真实世界数据集上评估,这些结果令人鼓舞,并让我们展望将该模型扩展至多模态以用于课堂氛围评估——我们最终的目标应用。
引用
@article{arxiv.2009.07013,
title = {Group-Level Emotion Recognition Using a Unimodal Privacy-Safe Non-Individual Approach},
author = {Anastasia Petrova and Dominique Vaufreydaz and Philippe Dessus},
journal= {arXiv preprint arXiv:2009.07013},
year = {2020}
}