GAME：面向青少年精神障碍早期筛查多模态数据融合的通用深度学习模型
机器学习
2023-09-20 v1 人工智能
摘要
青少年精神障碍的及时识别是一项全球公共卫生挑战。由于其复杂而微妙的性质，单一因素难以检测出异常。此外，面向青少年精神障碍的、带有交互机器人的通用多模态计算机辅助筛查（CAS）系统尚不可用。在此，我们设计了一款部署在便携式机器人中的安卓应用，包含迷你游戏与聊天记录功能，用于筛查 3783 名中学生，并构建了包含面部图像、生理体征、语音录音和文本转录的多模态筛查数据集。我们开发了名为 GAME（带注意力与多模态 EmbraceNet 的通用模型，Generalized Model with Attention and Multimodal EmbraceNet）的模型，其新颖的注意力机制将跨模态特征整合进模型中。GAME 以高准确率（73.34%–92.77%）和 F1 分数（71.32%–91.06%）评估青少年精神状况。我们发现每种模态对精神障碍筛查及各类精神障碍共病动态地做出贡献，表明可解释模型的可行性。本研究提供了一种能够获取多模态信息的系统，并构建了带有新颖注意力机制的通用多模态融合算法，用于青少年精神障碍的早期筛查。
引用
@article{arxiv.2309.10077,
title = {GAME: Generalized deep learning model towards multimodal data integration for early screening of adolescent mental disorders},
author = {Zhicheng Du and Chenyao Jiang and Xi Yuan and Shiyao Zhai and Zhengyang Lei and Shuyue Ma and Yang Liu and Qihui Ye and Chufan Xiao and Qiming Huang and Ming Xu and Dongmei Yu and Peiwu Qin},
journal= {arXiv preprint arXiv:2309.10077},
year = {2023}
}