探索语言模型中参数激活模式
机器学习
2024-05-29 v1 计算与语言
摘要
大多数研究将大型语言模型视为黑盒，缺乏对其内部工作机制的深入理解。为解释 LLM 的内部表示，我们提出一种基于梯度的度量来评估模型参数的激活水平。基于该度量，我们获得了三个初步发现。(1) 当输入在同一领域时，浅层参数将被密集激活，这意味着更大比例的参数对输出具有重要影响。相比之下，深层参数被稀疏激活。(2) 当输入跨越不同领域时，浅层参数的激活行为相似性高于深层。(3) 在深层，激活参数的分布相似性与经验数据相关性呈正相关。进一步，我们开发了三个验证实验来巩固这些发现。(1) 首先，从第一个发现出发，我们尝试为不同层配置不同的剪枝比例，发现这种方法有助于模型剪枝。(2) 我们发现，基于一个校准集修剪后的模型比那些与校准任务无关的模型更能处理与校准任务相关的任务，这验证了第二个发现。(3) 在 STS-B 和 SICK 基准上，我们发现两个语义一致的句子在深层倾向于共享相似的参数激活模式，这与我们的第三个发现一致。我们的工作为 LLM 参数激活行为提供了见解，我们希望这些发现将激发更多实际应用的潜力。
引用
@article{arxiv.2405.17799,
title = {Exploring Activation Patterns of Parameters in Language Models},
author = {Yudong Wang and Damai Dai and Zhifang Sui},
journal= {arXiv preprint arXiv:2405.17799},
year = {2024}
}