基于注意力语音识别编码器的普通话语音痴呆评估
计算与语言
2023-12-18 v2 机器学习
声音
音频与语音处理
摘要
痴呆诊断需要一系列不同的测试方法，复杂且耗时。痴呆的早期检测至关重要，因为它可以防止病情进一步恶化。本文利用语音识别模型构建了一个面向普通话说话人在图片描述任务中的痴呆评估系统。通过在高度接近真实场景的语音数据上训练基于注意力的语音识别模型，我们显著增强了模型的识别能力。随后，我们从语音识别模型中提取编码器并添加一个线性层用于痴呆评估。我们收集了 99 名受试者的普通话语音数据，并从当地医院获取了他们的临床评估。我们在阿尔茨海默病检测中达到了 92.04% 的准确率，在临床痴呆评定量表分数预测中达到了 9% 的平均绝对误差。
引用
@article{arxiv.2310.03985,
title = {Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder},
author = {Zih-Jyun Lin and Yi-Ju Chen and Po-Chih Kuo and Likai Huang and Chaur-Jong Hu and Cheng-Yu Chen},
journal= {arXiv preprint arXiv:2310.03985},
year = {2023}
}
备注
Accepted to IEEE ICASSP 2024