MMME：一个支持视觉-生理融合的自发多模态微表情数据集
计算机视觉与模式识别
2025-06-13 v2
摘要
微表情（MEs）是揭示个体真实情绪状态的微妙、转瞬即逝的非语言线索。由于其在医疗保健、刑事侦查和人机交互等领域的潜在应用，其分析引起了相当大的关注。然而，现有的 ME 研究仅限于单视觉模态，忽略了其他生理模态所传达的丰富情绪信息，导致 ME 识别和检测性能远低于实际应用需求。因此，探索 ME 视觉特征与生理信号（PS）之间的跨模态关联机制，并开发多模态融合框架，是推进 ME 分析的关键一步。本研究引入了一个新颖的 ME 数据集 MMME，首次实现了面部动作信号（MEs）、中枢神经系统信号（EEG）和外周 PS（PPG、RSP、SKT、EDA 及 ECG）的同步采集。通过克服现有 ME 语料库的限制，MMME 包含 634 个 MEs、2841 个宏表情（MaEs）以及 2890 次同步多模态 PS 试验，为研究 ME 神经机制和开展基于多模态融合的分析奠定了坚实基础。广泛的实验验证了数据集的可靠性，并为 ME 分析提供了基准，表明将 MEs 与 PS 整合显著提升了识别和检测性能。据我们所知，MMME 是目前模态多样性最全面的 ME 数据集。它为探索 ME 的神经机制和揭示视觉-生理协同效应提供了关键的数据支持，推动 ME 研究从单模态视觉分析向多模态融合的范式转变。该数据集将在论文被接收后公开发布。
引用
@article{arxiv.2506.09834,
title = {MMME: A Spontaneous Multi-Modal Micro-Expression Dataset Enabling Visual-Physiological Fusion},
author = {Chuang Ma and Yu Pei and Jianhang Zhang and Shaokai Zhao and Bowen Ji and Liang Xie and Ye Yan and Erwei Yin},
journal= {arXiv preprint arXiv:2506.09834},
year = {2025}
}