PartialFormer：以部分而非整体建模用于机器翻译
计算与语言
2024-06-06 v2 人工智能
摘要
Transformer 前馈神经网络中的设计选择带来了显著的计算与参数开销。本工作中，我们强调隐藏维度在设计轻量 FFN 时的重要性，这一因素在以往架构中常被忽视。遵循该原则，我们提出 PartialFormer，一种参数高效的 Transformer 架构，利用多个较小的 FFN 来减少参数与计算量，同时保持必要的隐藏维度。这些较小的 FFN 被集成到多头注意力机制中以进行有效协作。我们还提出一种定制的头缩放策略来增强 PartialFormer 的能力。此外，我们给出一种残差式注意力计算以改进 PartialFormer 内的深度缩放。在 9 个翻译任务和 1 个抽象摘要任务上的大量实验验证了我们的 PartialFormer 方法在机器翻译与摘要任务上的有效性。我们的代码将发布于：https://github.com/zhengkid/PartialFormer。
引用
@article{arxiv.2310.14921,
title = {PartialFormer: Modeling Part Instead of Whole for Machine Translation},
author = {Tong Zheng and Bei Li and Huiwen Bao and Jiale Wang and Weiqiao Shan and Tong Xiao and Jingbo Zhu},
journal= {arXiv preprint arXiv:2310.14921},
year = {2024}
}
备注
Accepted by ACL2024 Findings