微调后的Transformer在层间展现出相似表示的聚类
计算与语言
2021-09-21 v2
摘要
尽管微调诸如BERT之类的预训练语言编码器用于下游自然语言理解（NLU）任务已取得成效，但神经网络在微调后如何变化仍知之甚少。本工作中，我们使用中心化核对齐（CKA）——一种用于比较所学表示的方法——来度量任务微调模型各层间表示的相似性。在十二项NLU任务的实验中，我们发现微调后的RoBERTa与ALBERT模型内部表示相似性存在一致的块对角结构，即较早层与较晚层各自聚类内部相似性高，而聚类之间则低。较晚层表示的相似性意味着后续层对任务性能仅边际贡献，我们通过实验验证，微调后Transformer的最顶部几层可在不影响性能的前提下被丢弃，即便不再进一步调优。
引用
@article{arxiv.2109.08406,
title = {Fine-Tuned Transformers Show Clusters of Similar Representations Across Layers},
author = {Jason Phang and Haokun Liu and Samuel R. Bowman},
journal= {arXiv preprint arXiv:2109.08406},
year = {2021}
}
备注
BlackboxNLP 2021