深度学习综述：从激活函数到 Transformer

深度学习在过去十年取得了巨大进展。一个关键成功因素是大量的架构、层、目标函数和优化技术。它们包括与注意力、归一化、跳跃连接、transformer 和自监督学习方案等相关的无数变体——仅举几例。我们为已具备深度学习基础理解的读者提供了这些领域中最重要、最新工作的全面概述。我们希望对有影响的最新工作采取整体且统一的阐述，有助于研究者在深度学习的不同领域之间形成新联系。我们识别并讨论了总结过去十年许多成功创新关键策略的多种模式，以及可被视为新星的工作。我们还包含了对近期商业构建的闭源模型（如 OpenAI 的 GPT-4 和 Google 的 PaLM 2）的讨论。