面向语音翻译的思维链提示方法
计算与语言
2025-03-28 v2
摘要
大型语言模型 (LLMs) 在语言理解和生成方面取得了显著进展。在基于文本的 LLM 成功的基础上，近期研究已将这些模型适配为使用语音嵌入进行提示，从而产生了在自动语音识别 (ASR) 和自动语音翻译 (AST) 中表现出强大性能的 Speech-LLM 模型。本文提出了一种新颖的方法，在基于编码器-解码器文本 LLM 构建的 Speech-LLM 中，利用 ASR 转录文本作为 AST 的提示。该 Speech-LLM 模型由一个语音编码器和一个编码器-解码器结构 Megatron-T5 组成。通过首先解码语音以生成 ASR 转录文本，随后将这些转录文本与编码后的语音一起用于提示，我们以类似思维链 (CoT) 提示的两步过程来引导语音翻译。对 T5 LLM 使用低秩适应 (LoRA) 进行模型适配，其性能优于全模型微调。实验结果表明，所提出的 CoT 提示显著提高了 AST 性能，与仅使用语音提示相比，在 6 个 En->X 或 X->En AST 任务上平均提高了 2.4 个 BLEU 值。此外，与预测 ASR 和 AST 转录文本拼接序列的相关 CoT 预测方法相比，我们的方法平均高出 2 个 BLEU 值。
引用
@article{arxiv.2409.11538,
title = {Chain-of-Thought Prompting for Speech Translation},
author = {Ke Hu and Zhehuai Chen and Chao-Han Huck Yang and Piotr Żelasko and Oleksii Hrinchuk and Vitaly Lavrukhin and Jagadeesh Balam and Boris Ginsburg},
journal= {arXiv preprint arXiv:2409.11538},
year = {2025}
}