利用预训练语言模型的提示学习进行阿尔茨海默病检测
计算与语言
2023-04-03 v2 机器学习
声音
音频与语音处理
摘要
阿尔茨海默病（AD）的早期诊断对于促进预防护理和延缓进一步进展至关重要。基于语音的自动AD筛查系统为其他临床筛查技术提供了非侵入性且更具可扩展性的替代方案。由BERT等预训练语言模型（PLMs）生成的文本嵌入特征在此类系统中被广泛使用。然而，PLM的领域微调通常基于掩码词或句子预测损失，这与后端AD检测任务不一致。为此，本文研究了基于提示的PLM微调方法，其一致地将AD分类误差作为训练目标函数。在PLM微调过程中，进一步将基于犹豫或停顿填充词频的不流畅特征融入提示短语中。进一步应用了使用不同PLM（BERT与RoBERTa）或具有不同微调范式（常规掩码语言建模微调与基于提示的微调）的系统之间的决策投票组合。采用15次实验运行中准确率得分的均值、标准差和最大值作为AD检测系统的性能度量。在由48名老年说话人组成的ADReSS20测试集上，使用人工与ASR语音转写文本分别获得了84.20%（标准差2.09%，最佳87.5%）与82.64%（标准差4.0%，最佳89.58%）的平均检测准确率。
引用
@article{arxiv.2210.16539,
title = {Exploiting prompt learning with pre-trained language models for Alzheimer's Disease detection},
author = {Yi Wang and Jiajun Deng and Tianzi Wang and Bo Zheng and Shoukang Hu and Xunying Liu and Helen Meng},
journal= {arXiv preprint arXiv:2210.16539},
year = {2023}
}
备注
Accepted ICASSP 2023 (will update with IEEE vision later)