表征提示工程中的适应度景观结构
人工智能
2025-09-09 v1
摘要
尽管提示工程已成为优化大型语言模型性能的关键技术，但其底层的优化景观仍了解甚少。当前方法将提示优化视为黑箱问题，应用复杂的搜索算法而不刻画其所导航的景观拓扑。我们使用语义嵌入空间中的自相关分析，对提示工程中的适应度景观结构进行了系统分析。通过在错误检测任务上对两种不同的提示生成策略——系统枚举（1,024个提示）和新颖性驱动的多样化（1,000个提示）——进行实验，我们揭示了根本不同的景观拓扑。系统化提示生成产生平滑衰减的自相关，而多样化生成表现出非单调模式，在中等语义距离处出现峰值相关，表明存在崎岖的、分层结构的景观。针对10个错误检测类别的任务特定分析揭示了不同错误类型之间不同程度的崎岖性。我们的发现为理解提示工程景观中优化的复杂性提供了实证基础。
引用
@article{arxiv.2509.05375,
title = {Characterizing Fitness Landscape Structures in Prompt Engineering},
author = {Arend Hintze},
journal= {arXiv preprint arXiv:2509.05375},
year = {2025}
}