面向隐私保护情感识别的两级深度学习架构
计算机视觉与模式识别
2021-11-16 v1 机器学习
摘要
利用图像和计算机视觉自动理解与识别人类情感状态可改善人机及人机交互。然而，隐私已成为备受关注的问题，因为用于训练情感模型的人的身份可能在过程中被暴露。例如，恶意个体可利用用户图像并冒用其身份。此外，基于图像的感情识别可能导致歧视与算法偏见，因为可根据面部特征推断种族、性别和年龄等特定信息。保护用户隐私并避免身份滥用的可能解决方案是：(1)从图像数据库中提取匿名化面部特征即动作单元(AU)，丢弃图像并使用AU进行处理与训练；(2)联邦学习(FL)，即在用户本地机器处理原始图像（本地处理）并将本地训练的模型发送至主处理机器进行聚合（中心处理）。本文提出一种用于情感识别的两级深度学习架构，其在第1级使用AU、第2级使用FL以保护用户身份。该架构由循环神经网络组成，以捕捉特征间的时间关系并预测效价与唤醒情感状态。在实验中，我们使用RECOLA这一综合性多模态情感数据库，通过不同变体的循环神经网络评估我们隐私保护架构的性能。结果显示，使用一致性相关系数评价指标，效价达、唤醒达的SOTA性能，证明了开发既准确又保障隐私的情感识别模型的可行性。
引用
@article{arxiv.2111.07344,
title = {Towards Privacy-Preserving Affect Recognition: A Two-Level Deep Learning Architecture},
author = {Jimiama M. Mase and Natalie Leesakul and Fan Yang and Grazziela P. Figueredo and Mercedes Torres Torres},
journal= {arXiv preprint arXiv:2111.07344},
year = {2021}
}
备注
8 pages, 6 figures, 4 tables