探索连续积分触发机制用于自适应同步语音翻译
计算与语言
2022-10-05 v3 声音
音频与语音处理
摘要
同步语音翻译（SimulST）是一项具有挑战性的任务，旨在完整输入被观测到之前翻译流式语音。一个 SimulST 系统通常包括两个组件：聚合语音信息的预决策（pre-decision）和决定读或写的策略（policy）。尽管近期工作提出了各种策略来改进预决策，但它们主要采用固定的 wait-k 策略，自适应策略很少被探索。本文提出通过适配连续积分触发（Continuous Integrate-and-Fire, CIF）来建模自适应策略。与单调多头注意力（monotonic multihead attention, MMA）相比，我们的方法具有计算更简单、低延迟下质量更优、对长语音更好泛化的优势。我们在 MuST-C V2 数据集上进行了实验，并展示了我们方法的有效性。
引用
@article{arxiv.2204.09595,
title = {Exploring Continuous Integrate-and-Fire for Adaptive Simultaneous Speech Translation},
author = {Chih-Chiang Chang and Hung-yi Lee},
journal= {arXiv preprint arXiv:2204.09595},
year = {2022}
}
备注
INTERSPEECH 2022 camera ready