精神分裂谱的多模态评估框架
音频与语音处理
2024-09-17 v1
摘要
本文提出了一种新型多模态框架，用于区分不同精神分裂谱症状类别的受试者与健康对照。我们实现了基于卷积神经网络和长短期记忆网络的单模态模型，并通过多种多模态融合方法实验，以构建所提出的框架。我们利用最小门控多模态单元（mGMU）对从输入模态中提取的特征进行双模态中间融合，最终将双模态融合输出用于受试者分类。该框架在加权 F1 分数和加权 AUC-ROC 分数方面的性能均得到提升。
引用
@article{arxiv.2406.09706,
title = {A Multimodal Framework for the Assessment of the Schizophrenia Spectrum},
author = {Gowtham Premananth and Yashish M. Siriwardena and Philip Resnik and Sonia Bansal and Deanna L. Kelly and Carol Espy-Wilson},
journal= {arXiv preprint arXiv:2406.09706},
year = {2024}
}
备注
Accepted to be presented at Interspeech 2024