补充材料：基于 GAU 的模型的实现与实验
计算与语言
2022-05-19 v2
摘要
今年二月，Google 提出了一种名为 FLASH 的新 Transformer 变体，其具有更快的速度、更低的显存占用和更好的性能。这是通过设计一个名为 GAU（门控注意力单元，Gated Attention Unit）的高效层实现的，该层将 Attention 层与 FFN 相结合。本文从理论与实际两方面重新分析了若干实现细节。随后我们提出了一种新颖的基于 GAU 的模型，并在中文语料上进行了预训练。CLUE 基准的结果显示，我们的模型取得了 75.02 的开发集平均分，比 RoFormerV1 高 1% 且速度快 45%，同时也与 RoFormerV2 具有竞争力。
引用
@article{arxiv.2205.05842,
title = {Supplementary Material: Implementation and Experiments for GAU-based Model},
author = {Zhenjie Liu},
journal= {arXiv preprint arXiv:2205.05842},
year = {2022}
}