RedApt：一种用于 wav2vec 2 编码的适配模块——更快更小的语音翻译且不牺牲质量
计算与语言
2022-10-18 v1 人工智能
摘要
语音翻译（ST）中的预训练语音 Transformer 已促成最先进（SotA）结果；然而，使用此类编码器在计算上开销巨大。为此，我们提出一种新颖的归约适配模块 RedApt（Reducer Adaptor），可无缝集成于任何基于 Transformer 的语音编码架构中。将预训练的 wav2vec 2 语音编码器与 RedApt 结合，在推理时带来 41% 的加速、33% 的内存削减以及 24% 的 FLOPs 减少。令我们惊喜的是，配备 RedApt 的 ST 模型在 Must-C 的 8 个语言对上平均以 0.68 BLEU 分数优于 SotA 架构。
引用
@article{arxiv.2210.08475,
title = {RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech Translation without Quality Compromise},
author = {Jinming Zhao and Hao Yang and Gholamreza Haffari and Ehsan Shareghi},
journal= {arXiv preprint arXiv:2210.08475},
year = {2022}
}
备注
EMNLP 2022 Finding