利用提示学习和停顿编码进行阿尔茨海尔病检测
音频与语音处理
2024-12-10 v1 声音
摘要
与其他临床筛查技术相比, 基于语音和语言的自动化阿尔茨海尔病(AD)检测方法具有非侵入性、成本效益高和便利性等特点。先前的研究表明, 对预训练语言模型(PLMs)进行微调对于AD检测有效。然而, 这种传统微调方法的目标是仅输入 transcript, 而这与PLMs预训练阶段所使用的掩码语言模型(MLM)任务不一致。本文我们探讨了对PLMs进行基于提示的微调, 通过插入提示模板将分类任务转换为MLM任务。我们还研究了将从强制对齐中获得的停顿信息纳入手动 transcript 的影响。此外, 我们比较了各种自动语音识别(ASR)模型, 并选定Whisper模型用于生成基于ASR的 transcript, 与手动 transcript 进行比较。进一步, 我们应用majority voting和集成技术, 在不同PLMs(BERT和RoBERTa)上使用不同随机种子。最终, 我们使用手动 transcript 在ADReSS测试集上获得了最高达95.8%(平均87.9%, 标准差3.3%)的检测准确率, 实现了仅使用 transcript 在ADReSS测试集上实现AD检测的state-of-the-art性能。
引用
@article{arxiv.2412.06259,
title = {Leveraging Prompt Learning and Pause Encoding for Alzheimer's Disease Detection},
author = {Yin-Long Liu and Rui Feng and Jia-Hong Yuan and Zhen-Hua Ling},
journal= {arXiv preprint arXiv:2412.06259},
year = {2024}
}
备注
Accepted by ISCSLP 2024