用你的手说话：利用连续手势控制构音语音合成器
声音
2021-02-03 v1 计算与语言
音频与语音处理
摘要
本工作展示了我们在利用手势控制构音语音合成引擎（即 Pink Trombone）方面的进展。我们的接口使用基于声道面积函数的构音语音合成，将连续的手指运动和手腕屈曲转换为连续语音。我们使用带有 18 个传感器的 Cyberglove II 来捕获手腕和各个手指的运动学信息，以控制虚拟舌头。随后，传感器的坐标和弯曲值被用于拟合样条舌头模型，从而平滑噪声值和离群值。将上颚视为固定，样条模型视为声道中动态移动的下表面（舌头），我们计算出一维面积函数值并输入 Pink Trombone，生成连续语音声音。因此，通过学习操控自己的手腕和手指，人们可以仅通过双手学会发出语音声音，而无需使用声道。
引用
@article{arxiv.2102.01640,
title = {SPEAK WITH YOUR HANDS Using Continuous Hand Gestures to control Articulatory Speech Synthesizer},
author = {Pramit Saha and Debasish Ray Mohapatra and Sidney Fels},
journal= {arXiv preprint arXiv:2102.01640},
year = {2021}
}
备注
2 pages, 1 figure