诱导大语言模型持续创造性与多样性
计算与语言
2026-04-01 v2 人工智能
计算机与社会
信息检索
摘要
我们针对这一不够为人所知的探索性搜索子集进行研究，即用户通常需要进行漫长的“搜索任务”来寻找完美的婚礼服、被忽视的研究主题、致命公司创意等。当前大语言模型（LLM）的前几项输出可能有所帮助，但仅作为起点，因为搜索任务需要在探索广泛且创意丰富的备选项的过程中进行学习和评估。尽管LLM编码了世界知识的惊人部分，但常见的解码方法仅针对具有正确答案的提示进行优化，因而返回的主要是单一且惯常的结果。其他方法，包括旨在增加小范围答案多样性的方法，很快就会自我重复，用户在做出最终决定前就已不足以学习足够的内容，或为每个提出类似问题的用户提供统一类型的“创造性”。我们开发了一种新颖且易于实现的解码方案，能在大语言模型中诱导持续的创造性和多样性，甚至在没有访问LLM向量空间内部结构的情况下，也能产生所需的尽可能具概念唯一性的结果。该算法解锁了LLM庞大知识的运用，涵盖正统与非正统知识，超越了模态解码路径。通过这一方法，搜索任务用户能够更快地探索搜索空间，找到令人满意的答案。
引用
@article{arxiv.2603.19519,
title = {Inducing Sustained Creativity and Diversity in Large Language Models},
author = {Queenie Luo and Gary King and Michael Puett and Michael D. Smith},
journal= {arXiv preprint arXiv:2603.19519},
year = {2026}
}