适应性提示的力量：通过自适应提示提升零样本学习
计算与语言
2024-12-25 v1 人工智能
摘要
大型语言模型（LLM）在广泛的语言任务中展现出卓越的能力，包括生成复杂推理问题的解答。有效提升 LLM 性能的技术之一是零样本学习，它通过包含解释性示例来引导模型的响应，鼓励模型进行逐步推理。然而，为模型选择合适的示例提出了一个挑战，因为每个数据集都需要一套不同的示例才能使 LLM 有效学习并在测试集上表现良好。当前研究通常依赖于基于不确定性或多样性的选择策略来挑选用于注释的示例，以改进模型的学习。然而，这些研究通常采用非自适应方法，即一次性选择一组示例。我们认为，这种非自适应策略可能导致示例之间的高冗余度，从而降低其整体信息性。为解决这一限制，我们提出了 \textsc{Adaptive-Prompt} 方法，通过利用先前所选示例的模型反馈来自适应地选择示例。实验结果表明，\textsc{Adaptive-Prompt} 在各种推理任务上显著提升了 LLM 的性能。
引用
@article{arxiv.2412.17891,
title = {The Power of Adaptation: Boosting In-Context Learning through Adaptive Prompting},
author = {Shuzhang Cai and Twumasi Mensah-Boateng and Xander Kuksov and Jing Yuan and Shaojie Tang},
journal= {arXiv preprint arXiv:2412.17891},
year = {2024}
}