聆听沉默：结合停顿动态与语义连贯性用于思维障碍的自动评估
计算与语言
2026-02-05 v2 人工智能
摘要
形式思维障碍(FTD)是精神分裂症谱系障碍的一个标志，表现为不连贯的言语，给临床评估带来挑战。传统临床评分量表虽已验证，但资源密集且缺乏可扩展性。自动语音识别(ASR)允许客观量化言语和时间特征，提供可扩展的替代方案。此外，ASR派生的言语时间戳提供了停顿动态的获取，这些动态被认为反映言语产生背后的认知过程。然而，其相对于语义措施的额外价值尚未得到充分探索。本研究评估了一个可扩展的多模态框架，将停顿特征与语义连贯性指标集成，涵盖三个数据集：自然记录的日记(AVH)、结构化的图片描述(TOPSY)以及梦境叙事(PsyCL)。在支持向量回归中，评估了停顿相关特征和已建立的连贯性措施。使用停顿特征alone的模型在三个数据集中稳健地预测手动评估的FTD严重程度。将停顿特征与语义连贯性指标集成可提升语义alone模型的预测性能，晚期融合方法在所有三个数据集中表现最稳健且一致地获得提升。在三个数据集的平均值方面，Spearman相关系数从仅使用语义模型的ρ = 0.413提升至集成停顿特征的ρ = 0.455。语义与停顿特征集成的性能提升在所有情境中均持续存在，尽管最具信息性的停顿模式性质因数据集而异。这些发现表明，停顿动态和语义连贯性反映了思维障碍的互补方面。
引用
@article{arxiv.2507.13551,
title = {Reading Between the Lines: Combining Pause Dynamics and Semantic Coherence for Automated Assessment of Thought Disorder},
author = {Feng Chen and Weizhe Xu and Changye Li and Serguei Pakhomov and Alex Cohen and Simran Bhola and Sandy Yin and Sunny X Tang and Michael Mackinley and Lena Palaniyappan and Dror Ben-Zeev and Trevor Cohen},
journal= {arXiv preprint arXiv:2507.13551},
year = {2026}
}