中文

面向认知障碍识别的时空语义图自动提取

人工智能 2025-02-05 v1 计算与语言 计算机视觉与模式识别 声音 音频与语音处理

摘要

现有的通过图片描述语言内容分析来评估认知语言障碍的方法,往往忽略了参与者的视觉叙事路径,而评估该路径通常需要眼动追踪。时空语义图是一种仅从转录文本分析该叙事路径的有用工具,但其应用受限于需要对内容信息单元(CIU)进行人工标注。本文提出了一种从认知语言分析中常用的“偷饼干”图片自动估计时空语义图(通过自动提取CIU)的方法。该方法能够自动刻画图片描述过程中的视觉语义路径。实验表明,自动生成的时空语义图能有效区分认知受损与未受损的说话者。统计分析显示,自动方法得出的特征与人工方法产生的结果相当,且在感兴趣的临床组别之间显示出更大的组间差异。这些结果凸显了该自动提取时空语义特征的方法在开发用于认知障碍评估的临床言语模型方面的潜力。

关键词

引用

@article{arxiv.2502.01685,
  title  = {Automated Extraction of Spatio-Semantic Graphs for Identifying Cognitive Impairment},
  author = {Si-Ioi Ng and Pranav S. Ambadi and Kimberly D. Mueller and Julie Liss and Visar Berisha},
  journal= {arXiv preprint arXiv:2502.01685},
  year   = {2025}
}

备注

To appear in ICASSP 2025