SimpleStrat：基于分层策略的语言模型生成多样性方法
计算与语言
2024-10-15 v2 人工智能
摘要
从大型语言模型(LLM)生成多样化响应在规划/搜索和合成数据生成等应用中至关重要，因为多样性能提供不同生成结果。以往方法依赖提高温度以增加多样性。然而，我们所发现的与流行观念相反的情况是：温度升高不仅会降低单个生成质量，还依赖于模型的下一个标记概率接近真实答案分布。我们提出SimpleStrat，一种替代方法，利用语言模型本身将空间划分为多个层次。在推理时，随机选择一个层次并在该层次内抽取样本。为衡量多样性，我们引入CoverageQA——一个包含多个等价答案的不明确问题数据集，并通过衡量输出分布与有效真实答案均匀分布之间的KL散度来评估多样性。由于对专有模型的计算每个响应/解决方案的概率不可行，我们改用对真实解决方案的召回率进行衡量。我们的评估表明，SimpleStrat在召回率上比GPT-4o提高0.05，在Llama 3上将KL散度平均降低0.36。
引用
@article{arxiv.2410.09038,
title = {SimpleStrat: Diversifying Language Model Generation with Stratification},
author = {Justin Wong and Yury Orlovskiy and Michael Luo and Sanjit A. Seshia and Joseph E. Gonzalez},
journal= {arXiv preprint arXiv:2410.09038},
year = {2024}
}