分层注意力解释：一种用于双模态抑郁检测的可解释语音级 transformer
计算与语言
2023-10-09 v2 声音
音频与语音处理
摘要
抑郁症是一种常见精神障碍。利用语音、借助机器学习实现的自动抑郁检测工具有助于抑郁症的早期筛查。本文解决了可能阻碍此类工具临床应用的两个局限：片段级标注带来的噪声以及模型缺乏可解释性。我们提出了一种双模态语音级 transformer，以避免片段级标注，并引入一种分层解释方法，基于从所有注意力层导出的梯度加权注意力图来追踪输入特征间的交互，从而提供语音级和句子级解释。我们表明，所提模型优于在片段级学习的模型（p=0.854，r=0.947，F1=0.897，对比 p=0.732，r=0.808，F1=0.768）。对于模型解释，使用一个真阳性样本，我们展示了给定语音中哪些句子与抑郁检测最相关；以及这些句子中哪些文本词元和梅尔谱图区域与抑郁检测最相关。这些解释使临床医生能够验证抑郁检测工具所做预测的有效性，促进其临床应用。
引用
@article{arxiv.2309.13476,
title = {Hierarchical attention interpretation: an interpretable speech-level transformer for bi-modal depression detection},
author = {Qingkun Deng and Saturnino Luz and Sofia de la Fuente Garcia},
journal= {arXiv preprint arXiv:2309.13476},
year = {2023}
}
备注
5 pages, 3 figures, submitted to IEEE International Conference on Acoustics, Speech, and Signal Processing