OverPrompt：通过高效上下文学习增强 ChatGPT
计算与语言
2023-12-15 v2
摘要
预训练大型语言模型的卓越性能已革新了各类自然语言处理应用。由于庞大的参数规模与高昂的运行成本，企业或组织倾向于通过零样本提示技术将模型迁移至目标任务。然而，令牌与时间的昂贵成本阻碍了它们在应用中的采用。我们提出 OverPrompt，利用 LLMs 的上下文学习能力处理多任务输入，从而降低令牌与时间成本。由于更好的条件分布映射，该方法在 API 查询时有可能提升任务性能。在多种分类数据集上的评估表明，OverPrompt 可实现高成本效益的零样本分类，且不会显著损害任务性能，在某些情况下甚至有所提升。在不同 LLMs 上进行的消融研究，以及对我们的提示策略针对不同输入顺序鲁棒性的探究，为我们方法的更广泛适用性提供了有价值的见解。这些发现也表明可通过 API 将我们的方法与 LLMs 更无缝地集成。
引用
@article{arxiv.2305.14973,
title = {OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning},
author = {Jiazheng Li and Runcong Zhao and Yongxin Yang and Yulan He and Lin Gui},
journal= {arXiv preprint arXiv:2305.14973},
year = {2023}
}
备注
NeurIPS 2023 R0-FoMo Workshop