用于多模态对话情感识别去偏的多偏置缓解与情感知识增强 Transformer
计算与语言
2022-07-19 v1 机器学习
摘要
对话中的多模态情感识别（mERC）是自然语言处理（NLP）中的活跃研究方向，旨在预测人在自然语言与面部姿态等多种模态交流中的情绪状态。无数隐性的偏见与先入之见充斥于人类语言与对话中，引发当前数据驱动的 mERC 方法是否产生偏置错误的疑问。例如，此类方法可能对女性话语给出高于男性的情感分数。此外，现有去偏模型主要关注性别或种族，而多偏置缓解在 mERC 中仍是一项未被探索的任务。在本工作中，我们迈出解决这些问题的第一步，提出一系列方法来缓解文本话语（即性别、年龄、种族、宗教与 LGBTQ+）与视觉表征（即性别与年龄）中五类典型偏见，随后提出一个多偏置缓解且情感知识增强的双模态 Transformer（MMKET）。综合实验结果表明所提模型的有效性，并证明去偏操作对 mERC 的分类性能有重大影响。我们希望本研究有益于 mERC 及相关系列情感研究中的偏置缓解发展。
引用
@article{arxiv.2207.08104,
title = {A Multibias-mitigated and Sentiment Knowledge Enriched Transformer for Debiasing in Multimodal Conversational Emotion Recognition},
author = {Jinglin Wang and Fang Ma and Yazhou Zhang and Dawei Song},
journal= {arXiv preprint arXiv:2207.08104},
year = {2022}
}
备注
10 pages, 5 figures, accepted to NLPCC 2022