深度神经网络在进行表情识别时是否学习了面部动作单元？
计算机视觉与模式识别
2017-03-17 v3 机器学习
神经与进化计算
摘要
尽管卷积神经网络 (CNN) 是近年来首选的基于外观的分类器，但相对较少的工作检验了 CNN 在公认的表情感知识别基准上能提高多少性能，更重要的是，检验了它们实际学到了什么。在这项工作中，我们不仅表明 CNN 能实现强大的性能，还引入了一种方法来解读面部的哪些部分影响了 CNN 的预测。首先，我们在面部表情数据上训练了一个零偏置 CNN，并据我们所知，在两个表情感知识别基准上取得了 SOTA 性能：扩展 Cohn-Kanade (CK+) 数据集和 Toronto Face Dataset (TFD)。然后，我们通过可视化最大程度激发卷积层中不同神经元的空间模式来定性分析该网络，并展示它们如何类似于面部动作单元 (FAU)。最后，我们使用 CK+ 数据集中提供的 FAU 标签来验证我们在滤波器可视化中观察到的 FAU 确实与受试者的面部运动相一致。
引用
@article{arxiv.1510.02969,
title = {Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?},
author = {Pooya Khorrami and Tom Le Paine and Thomas S. Huang},
journal= {arXiv preprint arXiv:1510.02969},
year = {2017}
}
备注
Accepted at ICCV 2015 CV4AC Workshop. Corrected numbers in Tables 2 and 3