你戴口罩了吗？利用循环一致GAN增强从语音中进行口罩检测
音频与语音处理
2020-07-28 v2 计算机视觉与模式识别
声音
摘要
从语音中检测一个人是否佩戴口罩的任务，在法医调查中的语音建模、外科医生之间或防护自身免受COVID-19等传染病侵害的人之间的交流中是有用的。在本文中，我们提出了一种用于语音口罩检测的新颖数据增强方法。我们的方法基于（i）训练带有循环一致性损失的生成对抗网络（GANs）以在两个类别（戴口罩与未戴口罩）之间翻译不成对的语音，以及（ii）使用循环一致GANs生成新的训练语音，并为每个翻译得到的语音分配相反标签。原始与翻译语音被转换为谱图，作为一组不同深度的ResNet神经网络的输入。这些网络通过支持向量机（SVM）分类器组合为一个集成。凭借该系统，我们参与了INTERSPEECH 2020计算副语言学挑战赛的口罩子挑战（MSC），以2.8%的优势超越组织者提出的基线。我们的数据增强技术在私有测试集上带来了0.9%的性能提升。此外，我们表明我们的数据增强方法取得了比其它基线和最先进增强方法更好的结果。
引用
@article{arxiv.2006.10147,
title = {Are you wearing a mask? Improving mask detection from speech using augmentation by cycle-consistent GANs},
author = {Nicolae-Cătălin Ristea and Radu Tudor Ionescu},
journal= {arXiv preprint arXiv:2006.10147},
year = {2020}
}
备注
Accepted at INTERSPEECH 2020