面向微表情与宏表情检测的任意单帧弱监督方法
计算机视觉与模式识别
2024-03-22 v1
摘要
帧级微表情与宏表情检测方法在标注时需要逐帧观察，耗时巨大。而视频级检测在训练过程中缺乏关于表情位置和数量的充分信息，导致性能显著低于全监督检测。为弥合这一差距，我们提出了一种点级弱监督表情检测（PWES）框架，其中每个表情仅需标注一个随机帧（即一个点）。为缓解标签分布稀疏的问题，当前主流方案是伪标签挖掘，但这又引入了新问题：定位上下文背景片段会导致边界不准确，丢弃前景片段则会造成预测碎片化。因此，我们设计了多重精炼伪标签生成（MPLG）和分布引导特征对比学习（DFCL）策略来解决这些问题。具体而言，MPLG 通过融合类别特定概率、注意力分数、融合特征和点级标签来生成更可靠的伪标签。DFCL 用于增强同类别的特征相似性和不同类别的特征差异性，同时捕获整个数据集上的全局表示。在 CAS(ME)^2、CAS(ME)^3 和 SAMM-LV 数据集上的大量实验表明，PWES 取得了与近期全监督方法相当的可观性能。
引用
@article{arxiv.2403.14240,
title = {Weak Supervision with Arbitrary Single Frame for Micro- and Macro-expression Spotting},
author = {Wang-Wang Yu and Xian-Shi Zhang and Fu-Ya Luo and Yijun Cao and Kai-Fu Yang and Hong-Mei Yan and Yong-Jie Li},
journal= {arXiv preprint arXiv:2403.14240},
year = {2024}
}