使用 Bark、mBART 和微调 XLSR Wav2Vec2 的端到端印地语至英语语音转换
音频与语音处理
2024-01-15 v1 人工智能
计算与语言
机器学习
摘要
语音长期以来一直是有效沟通与连接的障碍，在我们这个日益互联的世界中，这一挑战持续存在。本研究论文针对这一持久障碍提出了一种变革性的解决方案——一个专为印地语到英语翻译并最终合成英语音频而设计的端到端语音转换框架。通过集成 XLSR Wav2Vec2 用于自动语音识别 (ASR)、mBART 用于神经机器翻译 (NMT) 以及一个文本到语音 (TTS) 合成组件等前沿技术，该框架为跨语言交流提供了一种统一且无缝的方法。我们深入探讨了每个组件的复杂细节，阐明了它们各自的贡献，并探索了使得从印地语口语到合成英语音频流畅过渡成为可能的协同效应。
引用
@article{arxiv.2401.06183,
title = {End to end Hindi to English speech conversion using Bark, mBART and a finetuned XLSR Wav2Vec2},
author = {Aniket Tathe and Anand Kamble and Suyash Kumbharkar and Atharva Bhandare and Anirban C. Mitra},
journal= {arXiv preprint arXiv:2401.06183},
year = {2024}
}