言语化采样：如何缓解模式崩溃并释放 LLM 多样性

训练后对齐通常会降低 LLM 的多样性，导致一种被称为模式崩溃的现象。与先前将此效应归因于算法局限性的工作不同，我们识别了一个基本的、普遍存在的数据级驱动因素：偏好数据中的典型性偏差，即标注者由于认知心理学中确立的发现而系统性地偏好熟悉的文本。我们在理论上形式化了这种偏差，在偏好数据集上进行了实证验证，并表明它在模式崩溃中起着核心作用。受此分析启发，我们引入了言语化采样，一种简单、无需训练的提示策略，以规避模式崩溃。VS 提示模型言语化一组响应上的概率分布（例如，“生成 5 个关于咖啡的笑话及其对应的概率”）。综合实验表明，VS 在创意写作（诗歌、故事、笑话）、对话模拟、开放式 QA 和合成数据生成方面显著提升了性能，且不牺牲事实准确性和安全性。例如，在创意写作中，VS 相比直接提示将多样性提高了 1.6-2.1 倍。我们进一步观察到一个新兴趋势，即能力更强的模型从 VS 中获益更多。总而言之，我们的工作为模式崩溃提供了一个新的以数据为中心的视角，以及一种有助于释放预训练生成多样性的实用推理时补救措施。