DepMamba：用于多模态抑郁检测的渐进式融合 Mamba
计算机与社会
2024-09-25 v1 计算机视觉与模式识别
人机交互
摘要
抑郁是一种影响全球数百万人的常见精神障碍。尽管已有方法取得了进展，但当前的多模态方法依赖对齐或聚合的多模态融合，存在两个显著局限：(i) 低效的长程时序建模，(ii) 跨模态融合与 intra-modal 处理之间融合不 optimal。本文提出一种用于多模态抑郁检测的音视频渐进式融合 Mamba，称为 DepMamba。DepMamba 包含两个核心设计：层次化上下文建模和渐进式多模态融合。一方面，层次化建模引入卷积神经网络和 Mamba 来提取长范围序列中的局部到全局特征。另一方面，渐进式融合首先提出一种多模态协作状态空间模型（SSM）提取每个模态的跨模态和 intra-modal 信息，然后利用增强型 SSM 实现模态内聚。大量实验表明，我们的 DepMamba 在两个大型抑郁数据集上优于现有最先进方法。代码已公开于 https://github.com/Jiaxin-Ye/DepMamba。
引用
@article{arxiv.2409.15936,
title = {DepMamba: Progressive Fusion Mamba for Multimodal Depression Detection},
author = {Jiaxin Ye and Junping Zhang and Hongming Shan},
journal= {arXiv preprint arXiv:2409.15936},
year = {2024}
}