基于语言和音频嵌入的机器学习方法用于阿尔茨海默病痴呆及轻度认知障碍检测：来自 PROCESS 挑战的分析
声音
2025-10-07 v1 人工智能
机器学习
摘要
早期检测阿尔茨海默病痴呆（AD）和轻度认知障碍（MCI）至关重要，但现有诊断方法往往资源密集且侵入性强。语音（涵盖声学和语言维度）作为认知衰退的潜在非侵入性生物标志物，提供了可行的检测途径。本研究提出一种基于 PROCESS 挑战的数据，利用音频嵌入和语言特征的机器学习框架。声学表示采用 Whisper 嵌入从 Cookie Theft 描述任务中提取；语言特征则通过从语义流畅性、音素流畅性和 Cookie Theft 图画描述任务中获得的转录文本中提取，涵盖代词使用、句法复杂度、填充词及从句结构等。分类模型旨在区分健康对照组（HC）、MCI 和 AD 受试者，回归模型则预测精神状态检查（MMSE）得分。结果表明，基于拼接语言特征训练的投票集成模型在分类任务中取得最佳性能（F1=0.497），而基于 Whisper 嵌入的集成回归模型实现最低的 MMSE 预测误差（RMSE=2.843）。在 PROCESS 挑战中进行的比较评估显示，我们的模型在回归任务中位列前茅，分类任务中处于中等水平，凸显了语言嵌入和音频嵌入的互补优势。这些发现强化了基于多模态语音的可扩展、非侵入性认知评估潜力，以及在痴呆检测中整合任务特定语言和声学特征的重要性。
关键词
引用
@article{arxiv.2510.03336,
title = {Linguistic and Audio Embedding-Based Machine Learning for Alzheimer's Dementia and Mild Cognitive Impairment Detection: Insights from the PROCESS Challenge},
author = {Adharsha Sam Edwin Sam Devahi and Sohail Singh Sangha and Prachee Priyadarshinee and Jithin Thilakan and Ivan Fu Xing Tan and Christopher Johann Clarke and Sou Ka Lon and Balamurali B T and Yow Wei Quin and Chen Jer-Ming},
journal= {arXiv preprint arXiv:2510.03336},
year = {2025}
}