面向多模态失语症类型检测的伴语手势学习

失语症是一种由脑损伤导致的语言障碍，需准确识别如 Broca 失语和 Wernicke 失语等具体类型以进行有效治疗。然而，鲜有研究致力于开发检测不同失语症类型的方法。认识到分析伴语手势对区分失语症类型的重要性，我们提出一种利用语音及相应手势模式进行失语症类型检测的多模态图神经网络。通过学习每种失语症类型下语音与手势模态间的相关性，我们的模型能生成对手势信息敏感的文本表示，从而实现准确的失语症类型检测。大量实验证明了我们的方法优于现有方法，取得了最先进的结果（F1 84.2%）。我们还表明手势特征优于声学特征，凸显了手势表达在失语症类型检测中的重要意义。我们提供了用于复现的代码。