TranSFormer：用于机器翻译的慢-快Transformer
计算与语言
2023-05-29 v1 人工智能
摘要
学习多尺度Transformer模型已被证明是增强机器翻译系统的可行途径。先前研究主要聚焦于在此类系统中以子词作为基本单元。然而，将细粒度字符级特征融入多尺度Transformer尚未被探索。本文中，我们提出一种慢-快双流学习模型，称为TranSFormer，其利用“慢”分支处理子词序列，并利用“快”分支处理更长的字符序列。该模型高效，因为快分支通过缩减模型宽度而非常轻量，却为慢分支提供了有用的细粒度特征。我们的TranSFormer在多个机器翻译基准上展现出一致的BLEU提升（大于1个BLEU点）。
引用
@article{arxiv.2305.16982,
title = {TranSFormer: Slow-Fast Transformer for Machine Translation},
author = {Bei Li and Yi Jing and Xu Tan and Zhen Xing and Tong Xiao and Jingbo Zhu},
journal= {arXiv preprint arXiv:2305.16982},
year = {2023}
}
备注
Accepted by Findings of ACL2023