Sound-Stream II：面向实时手势控制的发音声音合成
声音
2018-11-21 v1 音频与语音处理
摘要
我们提出一种接口，通过称为 ArtiSynth 的生物力学工具包和称为 JASS 的声音合成引擎，对二维中矢状面舌头进行四自由度（DOF）机械控制，以实现发音声音合成。作为该项目的演示，用户将通过一组四个基于力的传感器，在二维空间中改变 ArtiSynth 舌头的形状和位置，从而学会产生一系列 JASS 语音声音。换言之，用户将能够物理地摆弄这四个传感器，由此虚拟地控制舌头四个选定肌肉激励的幅度，以改变发音结构。该变化在 ArtiSynth 环境中以面积函数（Area Functions）计算，并传达给基于 JASS 的音频合成器，该合成器耦合双质量声门激励模型，以完成这一端到端从手势到声音的映射。
引用
@article{arxiv.1811.08029,
title = {Sound-Stream II: Towards Real-Time Gesture Controlled Articulatory Sound Synthesis},
author = {Pramit Saha and Debasish Ray Mohapatra and Praneeth SV and Sidney Fels},
journal= {arXiv preprint arXiv:1811.08029},
year = {2018}
}