通过因果干预实现无偏视觉情感识别
计算机视觉与模式识别
2022-07-21 v2
摘要
尽管视觉情感识别已取得诸多进展，研究者们已意识到现代深度网络倾向于利用数据集特性来学习输入与目标之间的虚假统计关联。此类数据集特性通常被视为数据集偏差，损害了这些识别系统的鲁棒性与泛化性能。本文从因果推断的视角审视该问题，其中此类数据集特性被称为混杂因子，误导系统学习虚假相关性。为缓解数据集偏差带来的负面影响，我们提出一种新颖的干预式情感识别网络（IERN）以实现后门调整，这是因果推断中一种基础的去混杂技术。具体而言，IERN首先将从实际情感特征中解耦出与数据集相关的上下文特征，前者构成混杂因子。随后，情感特征在送入分类器之前将被强制平等地观测每一个混杂因子层。一系列设计的测试验证了IERN的有效性，且在三个情感基准上的实验表明，IERN在无偏视觉情感识别上优于最先进的（SOTA）方法。代码见 https://github.com/donydchen/causal_emotion
引用
@article{arxiv.2107.12096,
title = {Towards Unbiased Visual Emotion Recognition via Causal Intervention},
author = {Yuedong Chen and Xu Yang and Tat-Jen Cham and Jianfei Cai},
journal= {arXiv preprint arXiv:2107.12096},
year = {2022}
}
备注
Accepted to ACM Multimedia 2022, code is available at https://github.com/donydchen/causal_emotion