利用 AM 与 FM 节奏语谱图进行痴呆分类与评估
音频与语音处理
2025-06-17 v2 声音
摘要
本研究探讨了节奏共振峰分析（RFA）在捕捉痴呆语音中长期时间调制方面的潜力。具体而言，我们引入了基于 RFA 的节奏语谱图作为痴呆分类与回归任务的新特征。我们提出了两种方法：（1）从节奏语谱图中提取的手工特征，以及（2）一种数据驱动的融合方法，将所提出的基于 RFA 的节奏语谱图与视觉 Transformer（ViT）结合用于声学表征，同时融合基于 BERT 的语言嵌入。我们将这些与现有特征进行了比较。值得注意的是，我们的手工特征在分类准确率上比 eGeMAPs 实现了 的相对提升，并在回归任务中取得了可比的性能。融合方法也展现出提升，基于 RFA 的语谱图在分类上比 Mel 语谱图获得了约 的相对提升，且回归得分与基线相当。
引用
@article{arxiv.2506.00861,
title = {Leveraging AM and FM Rhythm Spectrograms for Dementia Classification and Assessment},
author = {Parismita Gogoi and Vishwanath Pratap Singh and Seema Khadirnaikar and Soma Siddhartha and Sishir Kalita and Jagabandhu Mishra and Md Sahidullah and Priyankoo Sarmah and S. R. M. Prasanna},
journal= {arXiv preprint arXiv:2506.00861},
year = {2025}
}
备注
Accepted in Interspeech, All codes are available in GitHub repo https://github.com/seemark11/DhiNirnayaAMFM