iMiGUE-3K：面向微动作分析的大规模基准数据集
计算机视觉与模式识别
2026-05-19 v1
摘要
情感理解是情感计算和人工智能中的一个基本挑战。虽然现有方法主要关注面部表情和语音，但常常忽略通过身体语言传递的丰富情感线索。最近，微动作（micro-gestures, MGs）——由内在情感驱动的无意、潜意识的动作——正受到越来越多的关注，作为其他情感线索的替代方案。然而，目前尚无大规模数据集支持MG基础模型的预训练。为推动MG研究，我们提出了基于微动作的情感理解新基准，包含 novel 数据集（iMiGUE-3K）和一系列用于不同任务的基础模型。通过基于模型的众包数据收集策略，我们构建了iMiGUE-3K，目前规模最大的MG数据集。该数据集包含来自过去七年内332名职业网球选手公开采访中超过3.4K段长视频及3700万帧。数据集包含32类微动作，拥有丰富的描述性标注，首个大规模、野外、视频级细粒度手势情感分析数据集。基于iMiGUE-3K，我们提出MG-FMs，用于可迁移手势表现学习的判别式基础模型。在该基础模型上，我们建立了五个综合评估任务：MG识别（无监督、半监督、监督）、MG检索和MG情感识别。我们系统评估了代表性方法，证明基于微动作的分析显著性地提升了情感理解。我们希望本工作为MG分析提供全面的工具，为心理诊断、情感计算和先进人机交互的未来研究奠定坚实基础。
引用
@article{arxiv.2605.17179,
title = {iMiGUE-3K: A Large-Scale Benchmark for Micro-Gesture Analysis with Self-Supervised Learning},
author = {Chengyan Wang and Haoyu Chen and Hui Wei and Yueyi Yang and Yunquan Chen and Guoying Zhao},
journal= {arXiv preprint arXiv:2605.17179},
year = {2026}
}