MDD-Net：通过互惠变换器的多模态抑郁检测
计算机视觉与模式识别
2025-08-12 v1 机器学习
多媒体
音频与语音处理
摘要
抑郁是一种严重影响个体情绪和身体健康的精神健康问题。社交媒体平台上数据收集的简单性吸引了大大利于充分利用这一信息进行精神健康研究的注意。本文提出了一种多模态抑郁检测网络（Multimodal Depression Detection Network, MDD-Net），利用从社交媒体网络中获取的声学和视觉数据，其中利用互惠变换器高效提取和融合多模态特征，以实现高效抑郁检测。MDD-Net由四个核心模块组成：用于检索相关声学属性的声学特征提取模块、用于提取显著高层模式的视觉特征提取模块、用于计算生成特征之间相关性并融合来自多个模态的特征的互惠变换器，以及用于使用融合特征表示进行抑郁检测的检测层。对D-Vlog数据集进行了大量实验，结果表明，所开发的所提出的多模态抑郁检测网络在F1分数上超过了最新技术方法时可达17.37%，显示示了该系统性能的优势。源代码可在https://github.com/rezwanh001/Multimodal-Depression-Detection获取。
引用
@article{arxiv.2508.08093,
title = {MDD-Net: Multimodal Depression Detection through Mutual Transformer},
author = {Md Rezwanul Haque and Md. Milon Islam and S M Taslim Uddin Raju and Hamdi Altaheri and Lobna Nassar and Fakhri Karray},
journal= {arXiv preprint arXiv:2508.08093},
year = {2025}
}
备注
Accepted for the 2025 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Vienna, Austria