通过注意力图视角分析Transformer中的前馈块
计算与语言
2024-04-16 v3
摘要
Transformer在各类广泛任务中无处不在。解释其内部机制是一个关键目标。然而，尽管前馈（FF）块拥有大量参数，其特定组件却通常较少被分析。我们通过将FF块在注意力图中呈现为一种人类友好的可视化方案，来分析其输入语境化效应。我们使用掩码语言和因果语言模型进行的实验表明，FF网络修改输入语境化以强调特定类型的语言组合。此外，FF及其周边组件倾向于相互抵消彼此的效应，暗示Transformer层处理中存在潜在的冗余。
引用
@article{arxiv.2302.00456,
title = {Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps},
author = {Goro Kobayashi and Tatsuki Kuribayashi and Sho Yokoi and Kentaro Inui},
journal= {arXiv preprint arXiv:2302.00456},
year = {2024}
}
备注
ICLR 2024 Spotlight; 37 pages, 32 figures, 3 tables