通过向量符号架构理解 GPT-2
机器学习
2024-12-12 v1 人工智能
摘要
理解 transformer 模型背后的一般原则仍是一个复杂的过程。使用稀疏自编码器（SAE）进行探针和解耦实验表明，这些模型可能以残差流中嵌入为方向的方式来管理线性特征。本文探讨了仅解码器 transformer 架构与向量符号架构（VSA）之间的相似性，并呈现实验表明 GPT-2 使用类似 VSA 的近正交向量捆绑和绑定操作的机制，用于层间的计算和通信。进一步表明，这些原理有助于解释实际神经权重的相当比例。
关键词
引用
@article{arxiv.2412.07947,
title = {GPT-2 Through the Lens of Vector Symbolic Architectures},
author = {Johannes Knittel and Tushaar Gangavarapu and Hendrik Strobelt and Hanspeter Pfister},
journal= {arXiv preprint arXiv:2412.07947},
year = {2024}
}
备注
2nd Workshop on Attributing Model Behavior at Scale (ATTRIB) at NeurIPS 2024