检索增强的多模态抑郁检测
机器学习
2025-11-05 v1 计算与语言
摘要
多模态深度学习在抑郁检测中通过整合文本、音频和视频信号显示出前景。最近的工作利用情感分析来增强情感理解，但存在计算成本高、领域不匹配和静态知识有限等问题。为此，本文提出一种 novel 检索增强生成（RAG）框架。给定抑郁相关文本，本方法从情感数据集中检索语义相关情感内容，并使用大型语言模型（LLM）生成情感提示作为辅助模态。该提示丰富了情感表征并提高了解读性。在 AVEC 2019 数据集上的实验表明，我们的方法以 CCC 为 0.593、MAE 为 3.95 实现了最先进的性能，超越了以前的迁移学习和多任务学习基线。
引用
@article{arxiv.2511.01892,
title = {Retrieval-Augmented Multimodal Depression Detection},
author = {Ruibo Hou and Shiyu Teng and Jiaqing Liu and Shurong Chai and Yinhao Li and Lanfen Lin and Yen-Wei Chen},
journal= {arXiv preprint arXiv:2511.01892},
year = {2025}
}
备注
Accepted in IEEE EMBC 2025