提示词的力量更为强大
机器学习
2025-05-27 v1
摘要
诸多近期的提示优化方法（如 chain-of-thought）已被证明能显著提升大型语言模型（LLM）生成内容的质量。在上下文学习（ICL）中，少数示例指导内容生成也已在 LLM 生成内容质量方面取得显著改进。此思路在合成表格数据生成中得到了良好应用：通过有效运用 ICL 和提示优化，LLM 能生成数据，使其接近基于代表性示例的复杂、异构分布的样本。然而，确保高保真的合成数据往往需要大量 ICL 示例，而这些示例可能难以获取或成本较高。与此同时，随着 LLM 不断变大，其内置的先验知识愈发广泛，可能取代特定数据示例。本文引入知识引导式提示（Knowledge-Guided Prompting, KGP）作为提示优化中的一个新变量，探讨 KGP 驱动的提示优化如何抵消 ICL 的成本。具体而言，我们探讨了“提示词能替代多少个示例？”的问题，提出知识引导式提示（KGP），即将领域知识（无论是推断得出还是直接提供）显式注入提示词，从而减少对 ICL 示例的依赖。我们的实验系统性地探讨了 ICL 与 KGP 之间的权衡，揭示了随着领域知识增加和示例数量减少，生成的合成数据质量如何变化的经验尺度律。我们的结果表明，知识引导式提示可作为替代方案或补充方案，实现可扩展的合成数据生成。
引用
@article{arxiv.2505.18485,
title = {The Prompt is Mightier than the Example},
author = {Shengzhe Xu and Nikhil Muralidhar and Naren Ramakrishnan},
journal= {arXiv preprint arXiv:2505.18485},
year = {2025}
}