EdgeFormer：一种面向设备上序列到序列生成的参数高效 Transformer
计算与语言
2023-01-02 v3
摘要
我们介绍了 EdgeFormer——一种在严格计算和内存约束下面向设备上序列到序列（seq2seq）生成的参数高效 Transformer。与先前的参数高效 Transformer 相比，EdgeFormer 采用了两条新颖的低成本参数化原则，使其在给定的同等参数预算下表现更优；此外，EdgeFormer 还通过为改进共享层网络而提出的层适应创新得到进一步增强。大量实验表明，EdgeFormer 能有效超越先前的参数高效 Transformer 基线，并在计算和内存约束下取得具有竞争力的结果。鉴于这些有前景的结果，我们发布了 EdgeLM——EdgeFormer 的预训练版本，这是首个公开可用的设备上序列到序列预训练模型，可针对序列到序列任务轻松微调并取得强劲结果，从而在实践中促进设备上的序列到序列生成。
引用
@article{arxiv.2202.07959,
title = {EdgeFormer: A Parameter-Efficient Transformer for On-Device Seq2seq Generation},
author = {Tao Ge and Si-Qing Chen and Furu Wei},
journal= {arXiv preprint arXiv:2202.07959},
year = {2023}
}
备注
EMNLP 2022 camera-ready version