低数据下的提示词通用性：通过更信息性先验实现提示优化的非空洞泛化界限

许多提示工程技术在实践中都取得了成功，尽管是在大量 task-specific 数据稀缺的情况下进行提示空间的优化。最近的工作通过将 PAC-Bayes 理论应用于离散提示空间，部分解释了这种成功，但仅在数据丰富的场景下才具有非空洞性。我们认为，通过更仔细地考虑数据或分布相关的 perplexity，才能更完全地解释这种广泛的成功——后者充当有效的先验，引导优化指向更“自然”的提示。我们推导了新的泛化界限，对于数据稀缺的提示优化通过更有用的先验实现非空洞性，形式化分析了 perplexity 正则化如何通过限制探索来紧缩这些界限。我们在实验中探索了这些界限的有效性以及 perplexity 正则化在改进提示泛化方面的实际收益。