破坏 Transformer 的离群维度由词频驱动
计算与语言
2024-06-19 v3 人工智能
摘要
尽管基于 Transformer 的语言模型通常对剪枝非常鲁棒，但最近发现了离群现象：在 BERT-base 中仅禁用 110M 参数中的 48 个，就使其在 MNLI 上的性能下降近 30%。我们复现了离群现象的原始证据，并将其与嵌入空间的几何结构联系起来。我们发现，在 BERT 和 RoBERTa 中，对应于离群维度的隐藏状态系数的大小与预训练数据中编码词符的频率相关，并且它也有助于使模型能够关注特殊词符的“垂直”自注意力模式。这解释了禁用离群维度导致的性能下降，并表明为了减少未来模型中的各向异性，我们需要能更好地考虑偏斜词符分布的预训练方案。
引用
@article{arxiv.2205.11380,
title = {Outliers Dimensions that Disrupt Transformers Are Driven by Frequency},
author = {Giovanni Puccetti and Anna Rogers and Aleksandr Drozd and Felice Dell'Orletta},
journal= {arXiv preprint arXiv:2205.11380},
year = {2024}
}
备注
To appear in Findings of EMNLP 2022