用于情绪识别的隐私增强多模态神经表示

许多移动应用和虚拟对话代理如今旨在识别并适应用户情绪。为实现这一点，数据从用户设备传输并存储于中心服务器。然而，这些数据包含敏感信息，可能被移动应用在未经用户同意的情况下使用，或被窃听对手恶意利用。本工作中，我们展示了为首要任务（此处为情绪识别）训练的多模态表示如何无意中泄露人口统计信息，这可能凌驾于用户所选的退出选项之上。我们分析了该泄露在来自文本、声学和多模态数据的表示中有何不同。我们采用对抗学习范式来遗忘表示中存在的隐私信息，并研究了改变对抗分量强度对首要任务及隐私度量（此处定义为攻击者预测特定人口统计信息的能力缺失）的影响。我们在多个数据集上评估该范式，并表明可以在不显著损害首要任务性能的情况下改善隐私度量。据我们所知，这是首项分析隐私度量跨模态差异以及如何在保持情绪识别性能的同时应对多种隐私关切的工作。