大语言模型参数功能的诱变筛选映射

大语言模型（LLM）显著推动了人工智能的发展，在众多任务中表现出色。尽管模型的功能本质上与其参数密切相关，但系统性地探索参数与功能之间关联的方法仍然缺乏。结构相似且参数数量相当的模型在不同任务上表现出显著的性能差异，这促使研究者探究支配其性能的不同模式。本研究借鉴生物学研究中的诱变筛选方法，对 Llama2-7b 和 Zephyr 进行了研究。该技术涉及将模型矩阵中的元素突变至其最大值或最小值，以考察模型参数与其功能之间的关系。我们的研究揭示了这两个模型内部存在多层精细结构。许多矩阵在诱变后表现出最大值与最小值突变的混合，但另一些则主要对某一类型敏感。值得注意的是，产生表型的突变——尤其是那些具有严重后果的突变——倾向于沿轴线聚集。此外，最大值与最小值突变的位置在两个模型的矩阵上常呈现互补模式，门控矩阵在重排后展现出独特的二维不对称性。在 Zephyr 中，某些突变始终产生诗歌或对话输出而非描述性输出。这些"写作者"突变根据输出高频首词进行分组，即使位于不同矩阵也表现出明显的共享行坐标的倾向。我们的发现证实了诱变筛选是解读大语言模型复杂性的有效工具，能够识别扩展其潜力的意外途径，为深入了解人工智能系统的基础层面提供了更深刻的见解。