HAFFormer：用于从自发语音检测阿尔茨海默病的层次化注意力自由框架
声音
2024-05-08 v1 计算与语言
音频与语音处理
摘要
自动从自发语音中检测阿尔茨海默病（AD）在其早期诊断中发挥着重要作用。最近的方法高度依赖Transformer架构 due to其在建模长程上下文依赖方面的效率。然而，与自注意力和音频长度相关的二次计算复杂度增加，使在边缘设备上部署此类模型提出了挑战。在此背景下，我们构建了一个新框架，称为层次化注意力自由Transformer（HAFFormer），以更好地处理AD检测中的长语音。具体而言，我们采用多尺度深度可分离卷积来替代自注意力，从而避免昂贵的计算，并采用基于GELU的门控线性单元来替代前馈层，以自动过滤冗余信息。此外，我们设计了层次化结构，以迫使其学习各种信息颗粒，从帧级到对话级。通过在ADReSS-M数据集上进行大量实验，我们引入的HAFFormer能够以竞争性结果（82.6%准确率）与最新工作相当，但在计算复杂度和模型大小方面显著降低。这显示了HAFFormer在处理AD检测中的长音频方面的效率。
引用
@article{arxiv.2405.03952,
title = {HAFFormer: A Hierarchical Attention-Free Framework for Alzheimer's Disease Detection From Spontaneous Speech},
author = {Zhongren Dong and Zixing Zhang and Weixiang Xu and Jing Han and Jianjun Ou and Björn W. Schuller},
journal= {arXiv preprint arXiv:2405.03952},
year = {2024}
}