通过时间状态转换实现微表情的协同检测与识别
计算机视觉与模式识别
2024-09-17 v1
摘要
微表情是无法有意识控制的非自愿面部运动，传递着细微线索，具有广泛的现实应用。微表情分析通常涉及两个主要任务：在长视频中检测微表情区间，以及识别这些区间所关联的情绪。先前的深度学习方法主要利用滑动窗口的分类网络。然而，固定的窗口大小和窗口级别的硬分类引入了许多限制。此外，这些方法未能充分利用检测和识别之间的互补路径。在本文中，我们提出了一种新颖的时间状态转换方法，以取代窗口级别的硬分类，用于协同的微表情检测与识别。具体而言，我们设计了一个时间状态转换模块，该模块将微表情识别视为一个时间状态转换过程，并利用状态转换损失来优化检测和识别。通过这种方式，我们的方法能够捕捉微表情的动态演变，并利用检测与识别之间的互补性。在四个基准数据集上的大量实验表明，我们的方法在检测和识别任务上均达到了最先进的性能。代码和预训练模型可在https://github.com/zizheng-guo/ME-TST获取。
关键词
引用
@article{arxiv.2409.09707,
title = {Synergistic Spotting and Recognition of Micro-Expression via Temporal State Transition},
author = {Bochao Zou and Zizheng Guo and Wenfeng Qin and Xin Li and Kangsheng Wang and Huimin Ma},
journal= {arXiv preprint arXiv:2409.09707},
year = {2024}
}