语义关系引导的表征学习用于面部动作单元识别
计算机视觉与模式识别
2019-04-23 v1
摘要
面部动作单元（AU）识别是面部表情分析的关键任务，在人工智能与计算机视觉领域引起了广泛关注。现有工作要么侧重于设计或学习复杂的区域特征表征，要么深入研究各类 AU 关系建模。尽管取得了不同程度的进展，现有方法仍难以应对复杂情形。本文中，我们探究如何在深度神经网络框架中整合 AU 间的语义关系传播以增强面部区域的特征表征，并提出一种 AU 语义关系嵌入表征学习（SRERL）框架。具体而言，通过分析各类面部表情中 AU 的共生与互斥关系，我们以结构化知识图形式组织面部 AU，并在多尺度 CNN 框架中集成门控图神经网络（GGNN），通过图传播节点信息以生成增强的 AU 表征。由于所学特征同时包含外观特征与 AU 关系推理，所提模型更为鲁棒，能够应对更具挑战性的情况，如光照变化与局部遮挡。在两个公开基准上的大量实验表明，我们的方法优于以往工作并达到了最先进的性能。
引用
@article{arxiv.1904.09939,
title = {Semantic Relationships Guided Representation Learning for Facial Action Unit Recognition},
author = {Guanbin Li and Xin Zhu and Yirui Zeng and Qing Wang and Liang Lin},
journal= {arXiv preprint arXiv:1904.09939},
year = {2019}
}
备注
Accepted by AAAI2019 as oral presentation