利用Transformer从语音与转写文本中检测痴呆症
计算与语言
2023-01-18 v3 计算机视觉与模式识别
摘要
阿尔茨海默病（AD）是一种神经退行性疾病，若未能早期诊断则会对人们的日常生活造成严重后果，因为目前尚无可用疗法。阿尔茨海默病是痴呆症最常见的病因，痴呆症是记忆丧失的统称。由于痴呆症会影响言语，现有研究倡议聚焦于从自发语音中检测痴呆症。然而，关于将语音数据转换为对数梅尔谱图（Log-Mel spectrograms）与梅尔频率倒谱系数（MFCCs）以及使用预训练模型的工作甚少。同时，在Transformer网络的使用以及将语音与转写文本这两种模态结合于单一神经网络的方式方面，相关研究亦很有限。为应对这些局限，我们首先将语音信号表示为图像并采用若干预训练模型，其中视觉Transformer（ViT）取得了最高的评估结果。其次，我们提出多模态模型。更具体地，我们引入的模型包含门控多模态单元（Gated Multimodal Unit）以控制各模态对最终分类的影响，以及跨模态注意力以有效捕捉两模态间的关系。在ADReSS挑战数据集上开展的广泛实验证明了所提模型的有效性及其相对于最先进方法的优越性。
引用
@article{arxiv.2110.14769,
title = {Detecting Dementia from Speech and Transcripts using Transformers},
author = {Loukas Ilias and Dimitris Askounis and John Psarras},
journal= {arXiv preprint arXiv:2110.14769},
year = {2023}
}
备注
Computer Speech & Language (Accepted)