多样化提示：通过 MAP-Elites 揭示大型语言模型提示空间
计算与语言
2025-04-22 v1 人工智能
摘要
提示工程对于优化大型语言模型 (LLM) 至关重要，但提示结构与任务性能之间的关系仍未得到充分探索。本工作引入一种进化方法，将上下文无关语法 (CFG) 与 MAP-Elites 算法相结合，以系统性地探索提示空间。该方法优先考虑质量和多样性，在生成高性能且结构多样化的提示时，同时通过变化诸如示例数量 (shots) 和推理深度等特征来分析其与不同任务的对齐方式。通过系统性地绘制表型空间，我们揭示了结构变化如何影响 LLM 性能，为面向特定任务和可适应性的提示设计提供了可操作的见解。在七个 BigBench Lite 任务上进行评估，并针对多个 LLM，结果强调了质量和多样性之间的关键相互作用，推动了 LLM 的有效性和灵活性的提升。
关键词
引用
@article{arxiv.2504.14367,
title = {Diverse Prompts: Illuminating the Prompt Space of Large Language Models with MAP-Elites},
author = {Gabriel Machado Santos and Rita Maria da Silva Julia and Marcelo Zanchetta do Nascimento},
journal= {arXiv preprint arXiv:2504.14367},
year = {2025}
}
备注
8 pages Accepted for publication in IEEE CEC 2025