并非所有层次都需要调优：选择性层恢复恢复多样性

后训练改进了大型语言模型（LLMs）的指令遵循和有用性，但往往会减少生成多样性，导致开放式情境中的重复输出，称为模式坍缩。基于LLM各层在功能方面发挥不同作用的证据，我们假设模式坍缩可定位到特定层次，并且恢复精心挑选的层次范围以其预训练权重可以恢复多样性，同时保持高输出质量。为验证这一假设并决定要恢复哪些层次，我们设计了一个代理任务——受限随机字符(CRC)，配有明确的有效性集合和自然的多样性目标。CRC的结果揭示了恢复范围内的多样性-有效性权衡，并识别了在质量损失最小的情况下增加多样性的配置。基于这些发现，我们提出选择性层恢复（SLR），一种无需训练的方法，通过恢复后训练模型中选定的层次以其预训练权重，生成具有相同体系结构和参数数的混合模型，无需额外的推理成本。在三个不同任务（创意写作、开放式问题解答和多步骤推理）和三个不同模型家族（Llama、Qwen和Gemma）上，我们发现SLR能够一致且显著地提高输出多样性，同时保持高输出质量。