StressTransfer：面向强调保持的情感感知语音到语音翻译
计算与语言
2025-10-16 v1 人工智能
摘要
我们提出一种情感感知语音到语音翻译 (Speech-to-Speech Translation, S2ST) 系统，通过利用大型语言模型 (LLM) 实现跨语言强化转换，来保持词级强调。我们的 метод 将源语言的强化转换为目标语言标记，以指导可控语音合成 (TTS) 模型。为克服数据稀缺问题，我们开发了自动生成对齐训练数据的管道，并引入“LLM 作为评判官” (LLM-as-Judge) 以进行评估。实验表明，我们的方法在保持强调的同时，显著优于基线方法，同时在翻译质量、说话意图和自然度方面保持可比。我们的工作凸显了翻译中语调的重要性，为在 S2ST 中保持副语言线索提供了高效、数据稀疏的解决方案。
引用
@article{arxiv.2510.13194,
title = {StressTransfer: Stress-Aware Speech-to-Speech Translation with Emphasis Preservation},
author = {Xi Chen and Yuchen Song and Satoshi Nakamura},
journal= {arXiv preprint arXiv:2510.13194},
year = {2025}
}