用于阿尔茨海默痴呆及其严重程度检测的多模态归纳迁移学习
音频与语音处理
2020-09-03 v1 机器学习
声音
机器学习
摘要
据估计，阿尔茨海默病影响全球约5000万人，且患者数量迅速上升，造成的全球经济负担接近1万亿美元。这亟需可扩展、低成本且鲁棒的方法来检测阿尔茨海默痴呆（AD）。我们提出了一种新颖的架构，利用声学、认知和语言特征构成多模态集成系统。该系统采用具有时间特性的专用人工神经网络来检测AD及其严重程度，后者通过简易精神状态检查（MMSE）评分体现。我们首先在ADReSS挑战赛数据集上评估该系统，该数据集为受试无关且按年龄和性别匹配的均衡数据集，以减轻偏差，可通过DementiaBank获取。我们的系统在AD分类上取得了83.3%的测试准确率、精确率、召回率和F1分数（均为SOTA），并在MMSE评分回归上取得了4.60的测试均方根误差（RMSE，SOTA）。据我们所知，在完整基准DementiaBank Pitt数据库上评估时，该系统进一步取得了88.0%的SOTA AD分类准确率。我们的工作凸显了自发语音在生成鲁棒归纳迁移学习模型上的适用性与可迁移性，并通过任务无关的特征空间展示了泛化能力。源代码见 https://github.com/wazeerzulfikar/alzheimers-dementia。
引用
@article{arxiv.2009.00700,
title = {Multimodal Inductive Transfer Learning for Detection of Alzheimer's Dementia and its Severity},
author = {Utkarsh Sarawgi and Wazeer Zulfikar and Nouran Soliman and Pattie Maes},
journal= {arXiv preprint arXiv:2009.00700},
year = {2020}
}
备注
To appear in INTERSPEECH 2020