AU R-CNN：将专家先验知识编码入 R-CNN 用于动作单元检测
计算机视觉与模式识别
2019-08-27 v2
摘要
在人脸上检测动作单元（AUs）具有挑战性，因为各种 AU 在不同尺度上使面部外观在多个区域发生细微变化。现有工作试图通过强调重要区域来识别 AU。然而，将专家先验知识纳入区域定义仍未被充分挖掘，且当前 AU 检测方法未使用带有专家先验知识的区域卷积神经网络（R-CNN）来自适应地直接聚焦于 AU 相关区域。通过融入专家先验知识，我们提出一种基于 R-CNN 的新型模型，名为 AU R-CNN。所提方案有两个主要贡献：（1）AU R-CNN 直接观测不同面部区域，即各种 AU 所在位置。具体而言，我们定义了将专家先验知识编码入区域定义和 RoI 级标签定义的 AU 划分规则。该设计取得了比现有方法好得多的检测性能。（2）我们将各种动态模型（包括卷积长短期记忆、双流网络、条件随机场和时序动作定位网络）集成到 AU R-CNN 中，进而研究和分析动态模型性能背后的原因。实验结果表明，\textit{仅}静态 RGB 图像信息且未基于光流的 AU R-CNN 超越了融合动态模型的版本。AU R-CNN 也优于使用相同骨干网络在不同图像分辨率下的传统 CNN。取得了 AU 检测的最优识别性能。完整网络可端到端训练。在 BP4D 和 DISFA 数据集上的实验显示了我们方法的有效性。实现代码已在线提供。
引用
@article{arxiv.1812.05788,
title = {AU R-CNN: Encoding Expert Prior Knowledge into R-CNN for Action Unit Detection},
author = {Chen Ma and Li Chen and Junhai Yong},
journal= {arXiv preprint arXiv:1812.05788},
year = {2019}
}
备注
14 pages,10 figures, published on Neurocomputing