MMSD-Net：面向多模态的顽语检测
声音
2024-07-17 v1 计算与语言
多媒体
音频与语音处理
摘要
顽语是一种常见的语音障碍，由语音生产中的不规则干扰引起，影响全球超过 7000 万人。标准的自动语音处理工具并不考虑语音障碍，因而无法对呈现出顽语语音的输入生成有意义的结果。顽语的自动检测是构建高效、情境感知语音处理系统的关键步骤。虽然前述方法探索了统计方法和神经方法进行顽语检测，但这些方法都是单模态的。本文提出了 MMSD-Net，这是首个用于顽语检测的多模态神经网络框架。实验结果表明，纳入视觉信号对顽语检测具有显著帮助作用，我们的方法相较于现有领域的单模态方法在 F1 分数上提升了 2%至 17%。
引用
@article{arxiv.2407.11492,
title = {MMSD-Net: Towards Multi-modal Stuttering Detection},
author = {Liangyu Nie and Sudarsana Reddy Kadiri and Ruchit Agrawal},
journal= {arXiv preprint arXiv:2407.11492},
year = {2024}
}
备注
Accepted at INTERSPEECH 2024