微动作识别基准评测：数据集、方法与应用
计算机视觉与模式识别
2024-06-04 v2
摘要
微动作是一种以低强度运动为特征的难以察觉的非语言行为。它提供了关于个体情感和意图的洞察，对于情感识别和心理评估等以人为本的应用至关重要。然而，由于这些细微的人类行为在日常生活中具有难以察觉和难以获取的特性，微动作的识别、区分和理解面临挑战。在本研究中，我们创新性地收集了一个新的微动作数据集，命名为 Micro-action-52 (MA-52)，并提出了一种用于微动作识别（MAR）任务的基准，称为微动作网络（MANet）。独特的是，MA-52 提供了包括手势、上肢和下肢运动在内的全身视角，旨在揭示全面的微动作线索。具体而言，MA-52 包含 52 个微动作类别以及七个身体部位标签，涵盖了从心理访谈中整理出的 205 名参与者和 22,422 个视频实例的全方位真实自然微动作。基于所提出的数据集，我们评估了 MANet 和其他九种流行的动作识别方法。MANet 将压缩 - 激励（SE）模块和时间移位模块（TSM）融入 ResNet 架构，以对微动作的时空特征进行建模。随后，设计了一种联合嵌入损失用于视频与动作标签之间的语义匹配；该损失有助于更好地区分视觉上相似但不同的微动作类别。在情感识别中的扩展应用证明了我们所提出的数据集和方法的重要价值之一。未来，将进一步深入探索人类行为、情感和心理评估。数据集和源代码发布于 https://github.com/VUT-HFUT/Micro-Action。
引用
@article{arxiv.2403.05234,
title = {Benchmarking Micro-action Recognition: Dataset, Methods, and Applications},
author = {Dan Guo and Kun Li and Bin Hu and Yan Zhang and Meng Wang},
journal= {arXiv preprint arXiv:2403.05234},
year = {2024}
}
备注
Accepted by IEEE Transactions on Circuits and Systems for Video Technology