Knowledge-Spreader：以极少量标签学习面部动作单元动态
计算机视觉与模式识别
2022-04-01 v1
摘要
近期关于面部动作单元（AU）自动检测的研究广泛依赖于大规模标注。然而，人工 AU 标注困难、耗时且昂贵。大多数现有的半监督工作忽略了来自时间域的信息线索，并且高度依赖于密集标注的视频，使得学习过程效率较低。为缓解这些问题，我们提出了一种深度半监督框架 Knowledge-Spreader（KS），它在两个方面不同于传统方法。首先，KS 不仅将人类知识编码为约束，还学习时空 AU 关联知识，以增强其分布外泛化能力。其次，我们通过多个学生网络交替且动态地应用一致性正则化和伪标注来实现 KS。它将空间知识从已标注帧传播到未标注数据，并补全部分标注视频片段的时间信息。因此，该设计允许 KS 仅分配一个标签即可从视频片段中学习 AU 动态，显著降低了使用标注的需求。大量实验表明，在 BP4D 上仅使用 2% 标签、在 DISFA 上仅使用 5% 标签的情况下，所提出的 KS 取得了与当前最优方法相竞争的性能。此外，我们在一个新开发的大规模综合情绪数据库上进行了测试，该数据库包含跨良好同步和对齐的传感器模态的大量样本，以缓解人类情感计算中标注和身份的稀缺问题。该新数据库将向研究界发布。
引用
@article{arxiv.2203.16678,
title = {Knowledge-Spreader: Learning Facial Action Unit Dynamics with Extremely Limited Labels},
author = {Xiaotian Li and Xiang Zhang and Taoyue Wang and Lijun Yin},
journal= {arXiv preprint arXiv:2203.16678},
year = {2022}
}