基于图神经网络的言语-手势互动图谱建模分析用于阿菲氏症病情严重程度估计

阿菲氏症是因大脑语言区域受损引发的获得性语言障碍，可能损害书面和口头语言的使用与理解能力。西方阿菲氏症电池修订版（WAB-R）是由言语语言病理学家（SLPs）评估言语障碍类型和严重程度的评估工具。由于WAB-R测量的是孤立的语言技能，越来越多的人关注从话语生产中进行评估，以更全面地代表日常语言能力。近期的语音分析进展主要聚焦于从自发语音中自动估计阿菲氏症严重程度，依赖的是孤立的语言或声学特征。本文提出一种基于图神经网络的框架，用于估计阿菲氏症的严重程度。我们将每个受试者的话语表示为一个有向多模态图，其中节点代表词汇项目和手势，边编码词语-词语、手势-词语和词语-手势的转换。采用GraphSAGE学习受试者级别的嵌入，从而整合来自直接邻居和整体图结构的信息。我们的结果表明，阿菲氏症的严重程度并非编码在孤立的词汇分布中，而是从语音和手势之间的结构化互动中体现。该提议的架构为可靠的自动化阿菲氏症评估，可能用于床边筛查和远程健康监测。