探究声学-文本情感不一致信息用于自动抑郁检测
音频与语音处理
2024-12-30 v1 人工智能
计算与语言
摘要
先前的研究表明，来自单个声学情感标签的情感特征可提高抑郁诊断准确性。此外，根据情感情境不敏感理论和我们的初步研究，抑郁者可能以意想不到的平静方式传达负面情感内容，在自然对话期间显示出高度不一致的情感表达。迄今为止，很少有研究识别并利用情感表达的不一致性用于抑郁检测。本文提出了一种多模态交叉注意力方法，用于捕获声学-文本情感不一致（ATEI）信息。通过分析声学和文本领域中情感表达的复杂局部和长期依赖关系，以及两者之间情感内容的错位，实现了这一目标。随后提出了基于 Transformer 的模型，用于整合这些 ATEI 信息并采用各种融合策略进行抑郁检测。此外，采用缩放技术在融合过程中调整 ATEI 特征的程度，从而增强模型辨别不同严重程度下抑郁患者的能力。就我们所知，这是首个将情感表达不一致性信息纳入抑郁检测的工作。实验结果表明，在咨询对话数据集上，本文方法有效。
关键词
引用
@article{arxiv.2412.18614,
title = {Investigating Acoustic-Textual Emotional Inconsistency Information for Automatic Depression Detection},
author = {Rongfeng Su and Changqing Xu and Xinyi Wu and Feng Xu and Xie Chen and Lan Wangt and Nan Yan},
journal= {arXiv preprint arXiv:2412.18614},
year = {2024}
}