面向项链形态的肌电到语音转换
音频与语音处理
2024-08-01 v1
摘要
用于从肌电图（EMG）解码语音的电极通常放置在面部，需要使用粘合剂，这在长期使用中既不方便又刺激皮肤。我们探索了一种不同的设备形态，将干电极放置在颈部周围。使用该设备记录的11词多说话人有声EMG分类器实现了92.7%的准确率。消融研究揭示了颈部放置两个以上电极的重要性，音系分析揭示了仅颈部与颈部加面部形态之间的相似分类混淆。最后，语音-肌电相关性实验证明，许多EMG频谱图频率区间与自监督语音表示维度之间存在线性关系。
引用
@article{arxiv.2407.21345,
title = {Towards EMG-to-Speech with a Necklace Form Factor},
author = {Peter Wu and Ryan Kaveh and Raghav Nautiyal and Christine Zhang and Albert Guo and Anvitha Kachinthaya and Tavish Mishra and Bohan Yu and Alan W Black and Rikky Muller and Gopala Krishna Anumanchipalli},
journal= {arXiv preprint arXiv:2407.21345},
year = {2024}
}