Micro-AU CLIP：基于局部独立性到全局依赖性的微表情动作单元检测细粒度对比学习
计算机视觉与模式识别
2026-03-18 v1
摘要
微表情（Micro-Expression）动作单元（Micro-AU）为细粒度真实情感分析提供客观线索。大多数现有的 Micro-AU 检测方法从整个面部图像/视频中学习 AU 特征，与 AU 的内在局部性相冲突，导致对 AU 区域感知不足。事实上，每个 AU 独立对应于特定的局部面部肌肉运动（局部独立），而某些 AU 在特定情感状态下存在内在依赖关系（全局依赖）。因此，本文探讨了独立性到依赖性模式的有效性，提出一种新颖的微-AU 检测框架——micro-AU CLIP，该框架独特地将 AU 检测过程分解为局部语义独立建模（LSI）和全局语义依赖（GSD）建模。在 LSI 中，设计了补丁标记注意力（PTA），将 AU 区域中的多个局部特征映射到同一特征空间；在 GSD 中，提出全局依赖注意力（GDA）和全局依赖损失（GDLoss）用于建模不同 AU 之间的全局依赖关系，从而增强每个 AU 特征。此外，鉴于 CLIP 在微语义对齐方面的固有局限，设计了微-AU 对比损失（MiAUCL），通过视觉特征和文本特征的细粒度对齐来学习 AU 特征。Micro-AU CLIP 也有效应用于无情感标签的微表情识别。实验结果表明，Micro-AU CLIP 能够充分学习细粒度微-AU 特征，实现了最先进的性能。
引用
@article{arxiv.2603.16302,
title = {Micro-AU CLIP: Fine-Grained Contrastive Learning from Local Independence to Global Dependency for Micro-Expression Action Unit Detection},
author = {Jinsheng Wei and Fengzhou Guo and Yante Li and Haoyu Chen and Guanming Lu and Guoying Zhao},
journal= {arXiv preprint arXiv:2603.16302},
year = {2026}
}