语音声学到关节运动的反演：数据驱动方法、挑战、应用与未来展望
声音
2025-04-21 v1 计算与语言
音频与语音处理
摘要
本综述聚焦于语音声学到关节运动反演（AAI）中所采用的数据驱动方法。本综述论文考察了过去十年（2011-2021年）间发布的相关研究。选择标准包括：（a）AAI类型—听者依赖AAI和听者独立AAI；（b）工作目标—关节近似、关节特征空间选择和自动语音识别（ASR），探讨声学特征与关节特征之间的相关性，以及计算机辅助语言训练框架；（c）语料库—同时记录的语音（wav）和医学成像模型，如电磁关节描绘（EMA）、电磁颌描绘（EPG）、喉镜成像、电声igraphy（EGG）、X射线影像学、超声和实时磁共振成像（rtMRI）；（d）方法或模型—近期研究均基于机器学习；（e）评估—由于AAI是非线性回归问题，性能评估主要通过相关系数（CC）、均方根误差（RMSE），并考虑均方误差（MSE）和均格式误差（MFE）。AAI模型的实际应用可以提供更加用户友好、可解释的关节位置反馈系统，尤其是舌头运动。此类轨迹反馈系统可用于为病人提供语音、语言和言语治疗。
引用
@article{arxiv.2504.13308,
title = {Acoustic to Articulatory Inversion of Speech; Data Driven Approaches, Challenges, Applications, and Future Scope},
author = {Leena G Pillai and D. Muhammad Noorul Mubarak},
journal= {arXiv preprint arXiv:2504.13308},
year = {2025}
}
备注
This is a review paper about Acoustic to Articulatory inversion of speech, presented in an international conference. This paper has 8 pages and 2 figures