基于迁移学习的虚拟现实头显部分遮挡下面部表情识别
计算机视觉与模式识别
2020-08-14 v1
摘要
情绪面部表情是我们日常交流中的主要渠道，近年来已成为 intensively 研究的对象。为了自动推断面部表情，基于卷积神经网络的方法因其在面部表情识别（FER）任务中被证实的适用性而得到广泛采用。另一方面，虚拟现实（VR）作为一种沉浸式多媒体平台日益流行，其中 FER 可提供丰富的媒体体验。然而，佩戴头戴式 VR 头显时识别面部表情是一项具有挑战性的任务，因为面部上半部分被完全遮挡。在本文中，我们试图克服这些问题，并专注于在用户佩戴头戴式显示器处于 VR 环境中的严重遮挡情况下的面部表情识别。我们提出一种几何模型来模拟由 Samsung Gear VR 头显导致的遮挡，该模型可应用于现有 FER 数据集。然后，我们采用迁移学习方法，从两个预训练网络（即 VGG 和 ResNet）开始。我们进一步在 FER+ 和 RAF-DB 数据集上对网络进行微调。实验结果表明，我们的方法在三个遵循佩戴商用 VR 头显所产生真实遮挡的改进基准数据集上训练时，取得了与现有方法相当的结果。本文代码见：https://github.com/bita-github/MRP-FER
引用
@article{arxiv.2008.05563,
title = {Facial Expression Recognition Under Partial Occlusion from Virtual Reality Headsets based on Transfer Learning},
author = {Bita Houshmand and Naimul Khan},
journal= {arXiv preprint arXiv:2008.05563},
year = {2020}
}
备注
To be presented at the IEEE BigMM 2020