基于音频与文本模态的阿尔茨海默痴呆检测
音频与语音处理
2020-08-12 v1 声音
摘要
当同时提取声学波形和内容的特征时，通过语音处理自动检测阿尔茨海默痴呆得以增强。音频和文本转写在健康相关任务中已被广泛使用，因为频谱和韵律语音特征以及语义和语言内容传达了关于各种疾病的信息。因此，本文描述了 GTM-UVIGO 研究小组与 acceXible 初创公司针对 INTERSPEECH 2020 的 ADDReSS 挑战赛的联合工作。所提交的系统旨在从患者的语音和消息转写中检测阿尔茨海默病的模式。我们构建并比较了六种不同的系统：其中四种基于语音，另外两种基于文本。评估了 x-vector、i-vector 和基于统计语音的功能特征。由于说话流畅性降低是阿尔茨海默病患者的常见模式，我们也提出了韵律特征。对于转写分析，提出了两种系统：一种使用 GloVe 词嵌入特征，另一种使用通过语言建模提取的若干特征。研究了多种模态内和模态间的分数融合策略。给出了单模态和多模态系统的性能。所取得的成果令人鼓舞，优于 ADDReSS 基线系统所达到的结果。
引用
@article{arxiv.2008.04617,
title = {Alzheimer's Dementia Detection from Audio and Text Modalities},
author = {Edward L. Campbell and Laura Docío-Fernández and Javier Jiménez Raboso and Carmen García-Mateo},
journal= {arXiv preprint arXiv:2008.04617},
year = {2020}
}
备注
5 pages, 2 figures