CANAMRF：基于注意力机制的多模态抑郁症检测模型
计算与语言
2024-01-09 v1 人工智能
计算机视觉与模式识别
图像与视频处理
摘要
多模态抑郁症检测是一个重要的研究课题，旨在利用多模态数据预测人类的心理状态。以往的方法平等对待不同模态，并通过简单的数学运算融合各个模态，而未衡量它们之间的相对重要性，这无法为下游抑郁症任务获取性能良好的多模态表示。为了解决上述问题，我们提出了一种用于多模态抑郁症检测的具有自适应多模态循环融合的跨模态注意力网络（CANAMRF）。CANAMRF 由多模态特征提取器、自适应多模态循环融合模块和混合注意力模块构成。通过在两个基准数据集上的实验，CANAMRF 展现出了 SOTA 的性能，突显了我们所提方法的有效性。
引用
@article{arxiv.2401.02995,
title = {CANAMRF: An Attention-Based Model for Multimodal Depression Detection},
author = {Yuntao Wei and Yuzhe Zhang and Shuyang Zhang and Hong Zhang},
journal= {arXiv preprint arXiv:2401.02995},
year = {2024}
}
备注
6 pages, 3 figures. Pacific Rim International Conference on Artificial Intelligence. Singapore: Springer Nature Singapore, 2023