用于轻度认知障碍检测的语音助手指令多模态特征分析
音频与语音处理
2024-11-08 v1 计算与语言
机器学习
声音
摘要
轻度认知障碍（MCI）因其向痴呆症演变的较高风险而成为重大公共卫生问题。本研究探讨利用来自35位老年人的受控环境下的自发性语音助手（VA）指令来检测MCI的可行性。具体而言，设计了一项指令生成任务，参与者可自由生成与认知能力关联更强的指令，而非朗读指令。我们利用音频、文本、意图及多模态融合特征开发了MCI分类与回归模型。结果表明，指令生成任务的平均分类准确率达到82%，优于指令朗读任务，这得益于多模态融合特征的利用。此外，生成指令与记忆和注意力子领域的相关性比朗读指令更强。我们的结果证实了指令生成任务的有效性，并暗示了利用居家纵向指令进行MCI检测的前景。
引用
@article{arxiv.2411.04158,
title = {Analyzing Multimodal Features of Spontaneous Voice Assistant Commands for Mild Cognitive Impairment Detection},
author = {Nana Lin and Youxiang Zhu and Xiaohui Liang and John A. Batsis and Caroline Summerour},
journal= {arXiv preprint arXiv:2411.04158},
year = {2024}
}