利用电磁发音描记术作为动作捕捉数据的语音动画
人机交互
2013-11-01 v1 定量方法
摘要
电磁发音描记术 (EMA) 捕捉附着在发音器官上的多个标记点在语音过程中的位置和方向。因此，它在语音方面执行的功能，与传统光学模态获取全身动作的动作捕捉在动画行业长期作为主流技术的功能相同。在本文中，我们从动作捕捉的角度处理 EMA 数据，并将其应用于现有多模态发音数据集的可视化，通过调整传统的基于动作捕捉的动画范式，创建了舌头和牙齿的运动学 3D 模型。这是使用现成的开源软件完成的。这种动画模型随后可作为数字资产轻松集成到多媒体应用中，从而以直观且易于访问的方式分析语音产生过程。本文详细介绍了 EMA 数据的处理、其与来自声道磁共振成像 (MRI) 和牙科扫描的 3D 数据的配准，以及建模工作流程，并讨论了几个相关问题。
引用
@article{arxiv.1310.8585,
title = {Speech animation using electromagnetic articulography as motion capture data},
author = {Ingmar Steiner and Korin Richmond and Slim Ouni},
journal= {arXiv preprint arXiv:1310.8585},
year = {2013}
}