软语言识别：用于语言无关性多对一端到端语音翻译
计算与语言
2024-06-18 v1 声音
音频与语音处理
摘要
语言无关性多对一端到端语音翻译模型可以将来自不同源语言的音频信号转换为目标语言中的文本。这些模型不需要源语言识别，这有助于提升用户体验。在某些情况下，输入语言可以给定或估计。我们的目标是利用这一额外语言信息，同时保持其他语言的质量。我们通过引入一个简单有效的线性输入网络来实现这一目标。该线性输入网络初始化为恒等矩阵，这确保了模型能够表现得与原模型一样好或更好。实验结果表明，所提方法能够成功提升指定语言的性能，同时保持多语言一对一 ST 模型的语言无关性。
引用
@article{arxiv.2406.10276,
title = {Soft Language Identification for Language-Agnostic Many-to-One End-to-End Speech Translation},
author = {Peidong Wang and Jian Xue and Jinyu Li and Junkun Chen and Aswin Shanmugam Subramanian},
journal= {arXiv preprint arXiv:2406.10276},
year = {2024}
}