面向多模态抑郁检测的上下文感知深度学习
机器学习
2024-12-30 v1
摘要
本研究聚焦于使用多模态机器学习(ML)从临床访谈中自动化检测抑郁。我们的做法区别于其他成功的ML方法，如基于特征工程的上下文感知分析和针对抑郁检测的端到端深度神经网络，后者利用痛苦分析访谈语料库(Distress Analysis Interview Corpus)。我们提出一种新方法，包含：(1)结合主题建模的数据增强，用于文本数据的预训练Transformer；以及(2)用于声学特征建模的深度1D卷积神经网络(CNN)。模拟结果表明，所提方法对于训练多模态深度学习模型有效。我们的深度1D CNN和Transformer模型分别在音频和文本模态上实现了最先进的性能。将它们组合成多模态框架后，在联合设置下也优于最先进方法。代码已公开于https://github.com/genandlam/multi-modal-depression-detection。
关键词
引用
@article{arxiv.2412.19209,
title = {Context-Aware Deep Learning for Multi Modal Depression Detection},
author = {Genevieve Lam and Huang Dongyan and Weisi Lin},
journal= {arXiv preprint arXiv:2412.19209},
year = {2024}
}
备注
Presented as an Oral at International Conference on Acoustics, Speech and Signal Processing 2019, United Kingdom