基于多级一致性的弱监督微表情与宏表情 spotting
计算机视觉与模式识别
2023-10-31 v2 多媒体
摘要
未裁剪视频中的大多数微表情与宏表情 spotting 方法受制于视频级采集和帧级标注的负担。基于视频级标签的弱监督表情 spotting（WES）有可能在减轻帧级标注复杂性的同时实现细粒度帧级 spotting。然而，我们认为现有弱监督方法基于涉及模态间、样本间和任务间差距的多重实例学习（MIL）。样本间差距主要来自样本分布和持续时间。因此，我们提出一种新颖且简单的 WES 框架 MC-WES，使用多一致性协作机制，包括模态级显著性、视频级分布、标签级持续时间和段级特征一致性策略，以仅用视频级标签实现精细帧级 spotting，从而缓解上述差距并融合先验知识。模态级显著性一致性策略侧重于捕捉原始图像与光流之间的关键关联。视频级分布一致性策略利用时间分布中稀疏性的差异。标签级持续时间一致性策略利用面部肌肉持续时间的差异。段级特征一致性策略强调相同标签下的特征保持相似性。在三个具有挑战性的数据集——CAS(ME)^2、CAS(ME)^3 和 SAMM-LV——上的实验结果表明，MC-WES 可与最先进的完全监督方法相媲美。
引用
@article{arxiv.2305.02734,
title = {Weakly-supervised Micro- and Macro-expression Spotting Based on Multi-level Consistency},
author = {Wang-Wang Yu and Kai-Fu Yang and Hong-Mei Yan and Yong-Jie Li},
journal= {arXiv preprint arXiv:2305.02734},
year = {2023}
}