Levenshtein Transformer 解码器及其变体的分析
计算与语言
2024-02-20 v1
摘要
Levenshtein transformer(LevT)是一种非自回归机器翻译模型，由于其并行解码和迭代细化程序，具有高效的解码速度和相当的翻译质量（以BLEU分数衡量）。它的翻译是否存在缺陷，又如何进行改进？本报告我们聚焦于LevT的解码器，分析解码结果长度、子词生成以及删除模块的能力。我们希望识别解码器的弱点，以便未来的改进。我们还比较了原始LevT、知识蒸馏后的LevT、带翻译记忆的LevT以及结合了知识蒸馏和翻译记忆的KD-LevT的翻译结果，以观察知识蒸馏和翻译记忆如何发挥作用。
引用
@article{arxiv.2402.12249,
title = {Analysis of Levenshtein Transformer's Decoder and Its Variants},
author = {Ruiyang Zhou},
journal= {arXiv preprint arXiv:2402.12249},
year = {2024}
}