温度是否是大型语言模型的创意参数？
计算与语言
2024-05-02 v1 人工智能
摘要
大型语言模型（LLM）被应用于各种创意任务，其输出从令人惊叹到奇异，再到模仿，最终沦为直接抄袭。LLM的温度参数调节随机性的程度，导致更具多样性的输出；因此，人们常将其称为创意参数。本文通过一个以固定上下文、模型和提示词进行的叙事生成任务来检验这一说法。具体而言，我们对不同温度值下的LLM输出进行经验分析，基于叙事生成中的四个必要条件：新颖性、典型性、连贯性和一致性。我们发现，温度与新颖性呈弱相关，尽管与不连贯性呈中等相关，但与连贯性或典型性没有关系。然而，温度对创意的影响远比“创意参数”这一说法所暗示的更为细微且微弱；总体而言，结果表明，随着温度升高，LLM会生成略微更具新颖性的输出。最后，我们讨论了如何实现更可控的LLM创意，而不仅仅是通过改变温度参数来实现。
引用
@article{arxiv.2405.00492,
title = {Is Temperature the Creativity Parameter of Large Language Models?},
author = {Max Peeperkorn and Tom Kouwenhoven and Dan Brown and Anna Jordanous},
journal= {arXiv preprint arXiv:2405.00492},
year = {2024}
}
备注
To be published in the Proceedings of the 15th International Conference on Computational Creativity (ICCC'24), 8 pages, 2 figures, 2 tables