Transformer 烹饪 cookbook
机器学习
2025-10-02 v1
摘要
我们提出了 transformer 烹饪 cookbook：一套用于直接编码算法到 transformer 参数中的技术集合。本工作解决了此类尝试的学习曲线陡峭的问题，这种问题因文献碎片化导致关键结果分散在众多论文中而加剧。特别是，我们将这些零散的研究成果综合为一套精选的配方，演示如何从 feed-forward 层中的基本算术到通过 self-attention 实现复杂的数据路由。我们的 formulation 安排既适合新手 seeking 轻松的入门方式，也适合需要系统参考的专家。这一统一的 transformer 构造呈现为未来工作提供了基础，涵盖从计算复杂性理论研究到体系结构设计和可解释性的实证调查。
引用
@article{arxiv.2510.00368,
title = {The Transformer Cookbook},
author = {Andy Yang and Christopher Watson and Anton Xue and Satwik Bhattamishra and Jose Llarena and William Merrill and Emile Dos Santos Ferreira and Anej Svete and David Chiang},
journal= {arXiv preprint arXiv:2510.00368},
year = {2025}
}
备注
39 pages