ARTI-6：面向六维关节语音编码
音频与语音处理
2026-01-27 v2 人工智能
计算与语言
摘要
我们提出了 ARTI-6，一个源自实时 MRI 数据的紧凑型六维关节语音编码框架，捕捉关键声道区域，包括软腔、舌根和喉部。ARTI-6 由三个组件组成：(1) 表示声道关键区域的六维关节特征集; (2) articulatory inversion 模型，该模型利用 speech foundation 模型从语音声学预测关节特征，实现预测相关性为 0.87; (3) articulatory synthesis 模型，该模型直接从关节特征重建可理解的语音，显示即使是低维表示也能生成自然的语音。总的来说，ARTI-6 提供了一个可解释、计算高效且以生理学为基础的框架，推动了关节逆变、合成以及更广泛的语音技术应用。该项目的源代码和语音样本已公开。
引用
@article{arxiv.2509.21447,
title = {ARTI-6: Towards Six-dimensional Articulatory Speech Encoding},
author = {Jihwan Lee and Sean Foley and Thanathai Lertpetchpun and Kevin Huang and Yoonjeong Lee and Tiantian Feng and Louis Goldstein and Dani Byrd and Shrikanth Narayanan},
journal= {arXiv preprint arXiv:2509.21447},
year = {2026}
}
备注
Accepted for ICASSP 2026