用于面部动作单元识别的弱监督区域与时序学习
计算机视觉与模式识别
2022-04-04 v1
摘要
自动面部动作单元（AU）识别因人工标注稀缺而是一项具有挑战性的任务。为缓解该问题，大量工作致力于利用众多无标注数据的各种弱监督方法。然而，以往工作未充分探索与 AU 某些独特属性（如区域与关系特征）相关的诸多方面。受此启发，我们考虑 AU 属性并提出两个辅助的 AU 相关任务，以自监督方式借助无标注数据弥合有限标注与模型性能间的差距。具体而言，为增强具 AU 关系嵌入的区域特征判别力，我们设计了 RoI 修复任务以恢复随机裁剪的 AU 块。同时，提出基于单图像的光流估计任务，以利用面部肌肉动态变化并将运动信息编码至全局特征表示。基于这两个自监督辅助任务，骨干网络能更好地捕获 AU 的局部特征、相互关系与运动线索。此外，通过结合半监督学习，我们提出了一个端到端可训练框架，称为弱监督区域与时序学习（WSRTL），用于 AU 识别。在 BP4D 与 DISFA 上的大量实验证明了我们方法的优越性，并取得了新的最先进性能。
引用
@article{arxiv.2204.00379,
title = {Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition},
author = {Jingwei Yan and Jingjing Wang and Qiang Li and Chunmao Wang and Shiliang Pu},
journal= {arXiv preprint arXiv:2204.00379},
year = {2022}
}
备注
The first two authors contributed equally to this work. Extension of arXiv:2107.14399. Accepted to IEEE Transactions on Multimedia 2022