中文

手语面部表情凤凰数据集(FePh):一种用于手语中面部与情绪指定表情的带标注序列数据集

计算机视觉与模式识别 2020-09-10 v2

摘要

面部表情是手势与手语识别系统的重要组成部分。尽管这两个领域近期取得了进展,手语语境下带标注的面部表情数据集仍是稀缺资源。在本文中,我们介绍一种手语语境下的带标注序列面部表情数据集,包含从公共电视台PHOENIX的日常新闻与天气预报中提取的超过30003000张面部图像。与当前大多数现有面部表情数据集不同,FePh提供具有不同头部姿态、朝向和运动的序列半模糊面部图像。此外,多数图像中身份者正在默念词语,使数据更具挑战性。为标注该数据集,我们考虑了“悲伤”“惊讶”“恐惧”“愤怒”“中性”“厌恶”和“高兴”七种基本情绪的初级、次级与三级二元组合。若图像面部表情无法由上述任何情绪描述,我们还考虑了“无”类别。尽管我们将FePh作为手语中手语使用者的面部表情数据集提供,它在手势识别与人机交互(HCI)系统中具有更广泛的应用。

关键词

引用

@article{arxiv.2003.08759,
  title  = {Facial Expression Phoenix (FePh): An Annotated Sequenced Dataset for Facial and Emotion-Specified Expressions in Sign Language},
  author = {Marie Alaghband and Niloofar Yousefi and Ivan Garibay},
  journal= {arXiv preprint arXiv:2003.08759},
  year   = {2020}
}