将大语言模型集成到三模态架构中用于DAIC-WOZ自动抑郁分类
计算机视觉与模式识别
2024-10-15 v5 人工智能
机器学习
多媒体
摘要
重度抑郁障碍（MDD）是一种普遍的精神健康状况，影响全球30000万人。本工作提出了一种新颖的基于 BiLSTM 的三模态模型级融合架构，用于临床访谈录音的二分类抑郁诊断。该方法将 Mel 频率倒数谱系数（MFCC）、面部动作单元（FAU）整合进系统，并使用基于两次学习的 GPT-4 模型处理文本数据。这项工作是首次将大语言模型集成到用于此任务的多模态架构中。它在DAIC-WOZ AVEC 2016挑战的交叉验证分割和留一被试交叉验证分割上取得了令人瞩目的成绩。在留一被试测试中，它实现了91.01%的准确率、85.95%的 F1 分数、80%的精确率和92.86%的召回率。
引用
@article{arxiv.2407.19340,
title = {Integrating Large Language Models into a Tri-Modal Architecture for Automated Depression Classification on the DAIC-WOZ},
author = {Santosh V. Patapati},
journal= {arXiv preprint arXiv:2407.19340},
year = {2024}
}
备注
Keywords: Multi-Modal Neural Networks, Deep Learning, Large Language Models, Depression Diagnosis, Biomedical Informatics, DAIC-WOZ