进化 Transformer
机器学习
2019-05-21 v4 计算与语言
神经与进化计算
机器学习
摘要
近期的研究突出了 Transformer 架构在序列任务上的优势，同时神经架构搜索（NAS）已开始超越人类设计的模型。我们的目标是将 NAS 应用于搜索比 Transformer 更好的替代方案。我们首先构建了一个受前馈序列模型近期进展启发的大型搜索空间，然后通过以 Transformer 为初始种群播种进行热启动来运行进化架构搜索。为了直接在计算昂贵的 WMT 2014 英德翻译任务上搜索，我们开发了渐进式动态障碍（Progressive Dynamic Hurdles）方法，该方法允许我们将更多资源动态分配给更有希望的候选模型。在我们的实验中发现的架构——进化 Transformer（Evolved Transformer）——在四个成熟的语言任务上展示了对 Transformer 的一致改进：WMT 2014 英德、WMT 2014 英法、WMT 2014 英捷和 LM1B。在大型模型尺寸下，进化 Transformer 在 WMT'14 英德上确立了 29.8 的新最优 BLEU 分数；在较小尺寸下，它以少 37.6% 的参数实现了与原始“大型”Transformer 相同的质量，并在 7M 参数的移动端友好模型尺寸下以 0.7 BLEU 优于 Transformer。
引用
@article{arxiv.1901.11117,
title = {The Evolved Transformer},
author = {David R. So and Chen Liang and Quoc V. Le},
journal= {arXiv preprint arXiv:1901.11117},
year = {2019}
}
备注
ICML version with SOTA results