面向面部动作单元识别的多尺度动态与层次关系建模
计算机视觉与模式识别
2024-04-10 v1
摘要
人类面部动作单元（AU）以层次方式相互关联，因为它们不仅在空间和时间域中彼此关联，而且位于相同/相近面部区域的AU比不同面部区域的AU表现出更强的关联。然而，现有方法均未彻底建模AU之间的这种层次化相互依赖关系，本文提出全面建模多尺度AU相关动态和层次化时空关系以进行AU发生识别。具体来说，我们首先提出了一种新颖的多尺度时间差分网络，带有自适应加权块，以在不同空间尺度上显式捕捉跨帧的面部动态，该网络特别考虑了不同AU激活范围和幅度的异质性。然后，引入了一种两阶段策略，基于AU的空间分布（即局部和跨区域AU关系建模）对AU之间的关系进行层次化建模。在BP4D和DISFA上取得的实验结果表明，我们的方法是AU发生识别领域的新最先进技术。我们的代码公开于https://github.com/CVI-SZU/MDHR。
引用
@article{arxiv.2404.06443,
title = {Multi-scale Dynamic and Hierarchical Relationship Modeling for Facial Action Units Recognition},
author = {Zihan Wang and Siyang Song and Cheng Luo and Songhe Deng and Weicheng Xie and Linlin Shen},
journal= {arXiv preprint arXiv:2404.06443},
year = {2024}
}
备注
Accepted to CVPR2024