面向面部动作单元识别的自监督区域与时序辅助任务
计算机视觉与模式识别
2021-08-02 v1
摘要
由于人工标注的稀缺性，自动面部动作单元（AU）识别是一项具有挑战性的任务。为缓解该问题，已有大量工作致力于利用众多无标注数据来发掘各类方法。然而，以往研究未能充分探索与 AU 某些独特属性（如区域性与关系性特征）相关的诸多方面。受此启发，我们考虑 AU 属性，并提出两个 AU 相关的辅助任务，以自监督方式借助无标注数据弥合有限标注与模型性能之间的差距。具体而言，为增强带有 AU 关系嵌入的区域特征判别力，我们设计了一个 RoI 修复任务来恢复随机裁剪的 AU 块。同时，提出一种基于单图像的光流估计任务，以利用面部肌肉的动态变化并将运动信息编码至全局特征表示中。基于这两个自监督辅助任务，所提出的区域与时序辅助任务学习（RTATL）框架使骨干网络更好地捕获 AU 的局部特征、互关系与运动线索。在 BP4D 和 DISFA 上的大量实验证明了我们方法的优越性，并取得了新的 SOTA 性能。
引用
@article{arxiv.2107.14399,
title = {Self-Supervised Regional and Temporal Auxiliary Tasks for Facial Action Unit Recognition},
author = {Jingwei Yan and Jingjing Wang and Qiang Li and Chunmao Wang and Shiliang Pu},
journal= {arXiv preprint arXiv:2107.14399},
year = {2021}
}
备注
The first two authors contributed equally to this work. Accepted for publication in the 29th ACM International Conference on Multimedia (ACMMM '21)