通过分析视觉刺激叙事中的主题演化和跨模态一致性来检测神经认知障碍

早期检测神经认知障碍（NCDs）对于及时干预和疾病管理至关重要。鉴于语言障碍在NCDs进展中早期显现，基于视觉刺激叙事（VSN）的分析为NCDs检测提供了可行的途径。当前的VSN-based NCDs检测方法主要关注与底层、刺激驱动认知过程紧密相关的语言微观结构（例如词汇多样性），而可能反映顶层、概念驱动认知能力的语言宏观结构（例如主题发展）尚未得到充分探索。这些宏观结构模式对于NCDs检测至关重要，但由于其抽象和复杂的性质，难以量化。为弥合这一差距，我们提出了两种新颖的宏观结构方法：（1）一种动态主题模型（DTM）用于跟踪叙事中主题的演变；（2）一种文本-图像时间对齐网络（TITAN）用于衡量叙事与视觉刺激之间的跨模态一致性。实验结果表明，所提出的方法在NCDs检测方面有效，且TITAN在三个语料库（ADReSS、ADReSSo、CU-MARVEL-RABBIT）上实现了优异的性能（分别为F1=0.8889、0.8504、0.7238）。特征贡献分析显示，宏观结构特征（例如主题可变性、主题变化率和主题一致性）是模型决策路径中最重要的贡献者，优于所检验的微观结构特征。这些发现凸显了宏观结构分析在理解NCDs相关的语言认知相互作用方面的价值。