理解提示工程或许无需重新思考泛化
机器学习
2023-10-09 v1 计算机视觉与模式识别
摘要
在带提示的视觉-语言模型中的零样本学习，即在不显式训练过程的情况下精心制作提示来构建分类器的做法，已在许多场景中取得令人印象深刻的性能。这一成功呈现了一个看似令人惊讶的现象：这些方法相对较少受到过拟合的影响，即当一个提示被手动设计以在给定训练集上实现低误差时（从而该方法不再实际为零样本），其在留出测试数据上仍表现良好。在本文中，我们表明可以通过经典的 PAC-Bayes 界来解释此类性能。具体而言，我们表明提示的离散性质，结合由语言模型给出的 PAC-Bayes 先验，产生了按文献标准而言异常紧的泛化界：例如，ImageNet 分类器的泛化界通常距真实测试误差仅几个百分点。我们凭经验证明，这对于现有的手工提示和通过简单贪心搜索生成的提示均成立。此外，所得界非常适用于模型选择：具有最佳界的模型通常也具有最佳测试性能。因此，本工作为广泛实践的提示工程提供了一种可能的合理性解释，即使这类方法看似可能过拟合训练数据。
引用
@article{arxiv.2310.03957,
title = {Understanding prompt engineering may not require rethinking generalization},
author = {Victor Akinwande and Yiding Jiang and Dylan Sam and J. Zico Kolter},
journal= {arXiv preprint arXiv:2310.03957},
year = {2023}
}