面向基于Transformer语言模型内部工作原理的入门指南
计算与语言
2024-10-15 v3
摘要
针对解释先进语言模型内部工作原理的研究取得了快速进展，这凸显了将该领域多年来所获洞见进行背景化的必要性。本 primer 提供了一种关于如何解释基于Transformer语言模型内部工作原理的当前技术的简洁技术性介绍，专注于生成式解码器架构。我们通过呈现这些模型已知内部机制的全面概览，揭示了这些方法之间以及该领域活跃研究方向之间的联系。
关键词
引用
@article{arxiv.2405.00208,
title = {A Primer on the Inner Workings of Transformer-based Language Models},
author = {Javier Ferrando and Gabriele Sarti and Arianna Bisazza and Marta R. Costa-jussà},
journal= {arXiv preprint arXiv:2405.00208},
year = {2024}
}