MetaSpeech：面向元宇宙随环境切换的语音效果
声音
2022-10-26 v1 计算与语言
音频与语音处理
摘要
元宇宙将物理世界扩展到一个新维度，物理环境与元宇宙环境可以直接连接并进入。语音是现实世界与元宇宙中不可或缺的通信媒介。将语音与环境效果融合对于用户在元宇宙中的沉浸感十分重要。在本文中，我们提出使用基于语音转换的方法来实现目标环境效果语音的转换。所提方法命名为 MetaSpeech，其引入了一个环境效果模块，包含用于提取环境信息的效果提取器，以及用于编码环境效果条件的效果编码器，其中使用梯度反转层进行对抗训练，以在解耦环境效果的同时保持语音内容和说话人信息。在带有四种环境效果的公开数据集 LJSpeech 上的实验结果表明，所提模型能够完成特定环境效果转换，并在语音转换任务上优于基线方法。
关键词
引用
@article{arxiv.2210.13811,
title = {MetaSpeech: Speech Effects Switch Along with Environment for Metaverse},
author = {Xulong Zhang and Jianzong Wang and Ning Cheng and Jing Xiao},
journal= {arXiv preprint arXiv:2210.13811},
year = {2022}
}
备注
Accepted by AI2OT2022, The Third International Workshop on Artificial Intelligence Applications in Internet of Things