CognoSpeak：真实对话语音中早期认知衰退的自动远程评估
声音
2025-05-12 v1 机器学习
音频与语音处理
摘要
认知衰退的早期迹象通常在对话语音中可察觉，识别这些迹象对于应对神经退行性疾病后期更严重的阶段至关重要。临床检测成本高且耗时，尽管近年来在基于语音线索的自动检测方面取得了进展，但这些系统是在相对较小的数据库上训练的，缺乏详细的元数据和人口统计信息。本文介绍了CognoSpeak及其相关的数据收集工作。CognoSpeak通过移动或网络平台上的虚拟代理询问记忆探查性的长短期问题，并执行标准认知任务，如言语流畅性、语义流畅性和图片描述。此外，它收集多模态数据，如音频和视频，以及来自初级和次级护理、记忆诊所和远程环境（如人们家中）的丰富元数据集。本文展示了126名受试者的结果，其音频被手动转录。我们研究并评估了几种经典分类器以及基于大语言模型的分类器在不同提示类型上的表现。我们展示了高水平性能；特别是，我们使用DistilBERT模型，通过记忆回答、流畅性任务和饼干盗窃图片描述，将认知障碍患者（痴呆症和轻度认知障碍患者）与健康志愿者区分开来，达到了0.873的F1分数。CognoSpeak是一种自动、远程、低成本、可重复、非侵入性且压力较小的现有临床认知评估替代方案。
引用
@article{arxiv.2501.05755,
title = {CognoSpeak: an automatic, remote assessment of early cognitive decline in real-world conversational speech},
author = {Madhurananda Pahar and Fuxiang Tao and Bahman Mirheidari and Nathan Pevy and Rebecca Bright and Swapnil Gadgil and Lise Sproson and Dorota Braun and Caitlin Illingworth and Daniel Blackburn and Heidi Christensen},
journal= {arXiv preprint arXiv:2501.05755},
year = {2025}
}
备注
This paper has been accepted for publication in IEEE SSCI 2025. Copyright belongs to IEEE