面向少样本细粒度面部表情识别的表达增强学习方法
计算机视觉与模式识别
2020-01-20 v1
摘要
情感计算与认知理论在现代人机交互场景中被广泛使用。人脸作为最显著且易于获取的特征，已引起研究人员的极大关注。由于人类具有丰富的情感与发达的肌肉组织，真实应用场景中存在大量细粒度表情。然而，收集和标注大量面部图像极其耗时，其中某些标注甚至需要心理学家才能正确分类。据我们所知，现有表情数据集仅局限于若干基本面部表情，不足以支撑我们在开发成功人机交互系统方面的需求。为此，本文贡献了一个新的细粒度面部表情数据库——F2ED，其包含来自 119 人的超过 20 万张图像，涵盖 54 种面部表情。考虑到真实场景中数据分布不均与样本匮乏现象普遍，我们进一步借助 F2ED 评估若干少样本表情学习任务，即在仅给定少量训练实例的情况下识别面部表情。这些任务模仿人类从少量样本中学习鲁棒且通用表征的能力。为应对此类少样本任务，我们提出一个统一的任务驱动框架——组合生成对抗网络（Comp-GAN），用于合成面部图像从而增强少样本表情类的实例。我们在 F2ED 与现有面部表情数据集（即 JAFFE 和 FER2013）上进行了大量实验，以验证我们的 F2ED 在预训练面部表情识别网络中的效用，以及所提方法 Comp-GAN 在提升少样本识别任务性能上的有效性。
引用
@article{arxiv.2001.06144,
title = {Learning to Augment Expressions for Few-shot Fine-grained Facial Expression Recognition},
author = {Wenxuan Wang and Yanwei Fu and Qiang Sun and Tao Chen and Chenjie Cao and Ziqi Zheng and Guoqiang Xu and Han Qiu and Yu-Gang Jiang and Xiangyang Xue},
journal= {arXiv preprint arXiv:2001.06144},
year = {2020}
}
备注
17 pages, 18 figures