中文

一种多模态情感识别系统:整合面部表情、身体动作、语音与言语

人机交互 2024-12-25 v1 计算与语言 计算机视觉与模式识别 机器学习 多媒体 声音 音频与语音处理

摘要

传统心理学评估高度依赖人类的观察与解释,这些方法容易受主观性、偏见、疲劳和不一致性的影响。为此,本文提出了一种多模态情感识别系统,提供一种标准化、客观且数据驱动的工具,以支持心理学家、精神科医生和临床医生等评估者。该系统整合了面部表情、语音、言语和身体动作分析,以捕捉通常在人类评估中被忽视的细微情感线索。通过组合这些模态,该系统提供更稳健、更全面的情感状态评估,从而降低误诊和过度诊断的风险。模拟真实场景下的初步测试表明,该系统有望提供可靠的情感见解,以提高诊断准确性。本工作突显了自动化多模态分析作为传统心理学评估实践有价值补充的前景,适用于临床和治疗场景。

关键词

引用

@article{arxiv.2412.17907,
  title  = {A Multimodal Emotion Recognition System: Integrating Facial Expressions, Body Movement, Speech, and Spoken Language},
  author = {Kris Kraack},
  journal= {arXiv preprint arXiv:2412.17907},
  year   = {2024}
}

备注

10 pages, 6 figures, 3 tables