Transformer 模型：导论与编目
计算与语言
2024-04-02 v4
摘要
在过去几年中，我们见证了 Transformer 系列数十个基础模型的流星般涌现，它们都有令人难忘、有时有趣但不言自明的名字。本文的目标是提供一个较为全面但简洁的目录与分类，涵盖最流行的 Transformer 模型。本文还包括对 Transformer 模型中最重要的方面与创新的介绍。我们的目录将包含使用自监督学习训练的模型（例如 BERT 或 GPT3），以及那些通过使用人类在环进一步训练的模型（例如 ChatGPT 使用的 InstructGPT 模型）。
引用
@article{arxiv.2302.07730,
title = {Transformer models: an introduction and catalog},
author = {Xavier Amatriain and Ananth Sankar and Jie Bing and Praveen Kumar Bodigutla and Timothy J. Hazen and Michaeel Kazi},
journal= {arXiv preprint arXiv:2302.07730},
year = {2024}
}