基于音视频信息融合的精神障碍检测新型系统
计算机视觉与模式识别
2024-09-05 v1
摘要
精神障碍是全球医疗挑战的首要贡献者之一。研究表明，及时诊断和干预对于治疗 various 精神障碍至关重要。然而，某些精神障碍的早期躯体化症状往往不易察觉，常导致被忽视或误诊。此外，传统诊断方法耗时且成本高昂。基于 fMRI 和 EEG 的深度学习方法已提高了精神障碍检测的效率，但设备和专业人员成本较高。此外，大多数系统仅针对特定精神障碍，缺乏通用性。最近的生理学研究表明，某些精神障碍（如抑郁症和注意力缺陷多动障碍）存在语音和面部相关症状。本文聚焦于精神障碍的情感表达特征，提出一种基于音视频信息输入的多模态精神障碍诊断系统。我们的方法基于空间-时间注意力网络，并创新性地采用计算密集性较小的预训练音频识别网络，以微调视频识别模块以获得更好效果。我们还首次将该统一系统用于多种精神障碍（ADHD 和抑郁症）。该系统在真实多模态 ADHD 数据集上实现了 80% 以上的准确率，并在抑郁症数据集 AVEC 2014 上实现了最新的性能。
引用
@article{arxiv.2409.02243,
title = {A Novel Audio-Visual Information Fusion System for Mental Disorders Detection},
author = {Yichun Li and Shuanglin Li and Syed Mohsen Naqvi},
journal= {arXiv preprint arXiv:2409.02243},
year = {2024}
}
备注
27th International Conference on Information (FUSION)