上下文学习中是否必需人工生成的演示？
机器学习
2024-02-22 v4 人工智能
摘要
尽管大语言模型（LLMs）展现出有前景的少样本能力，上下文学习（ICL）的标准范式存在易受所选演示影响以及生成这些演示过程繁琐的缺点。本文提出一个基本问题：人工生成的演示对于 ICL 是否必要。为回答该问题，我们提出自省提示策略（SEC），一种无需人工 crafted 演示的范式。SEC 的关键在于，不同于在 ICL 中使用手工示例作为演示，SEC 要求 LLMs 首先自行创建演示，并基于这些演示生成最终输出。SEC 是一个灵活框架，可适配于朴素 ICL 与思维链（CoT），但更为简便：因为示例与原理的手动生成过程均可省去。在算术推理、常识推理、多任务语言理解与代码生成基准上的大量实验表明，无需手工演示的 SEC 显著优于零样本学习策略，并取得与含手工演示的 ICL 相当的结果。这表明，对于许多任务，当代 LLMs 具备足够能力仅凭自身决策能力，无需外部训练数据。代码可在 https://github.com/ruili33/SEC 获取。
引用
@article{arxiv.2309.14681,
title = {Are Human-generated Demonstrations Necessary for In-context Learning?},
author = {Rui Li and Guoyin Wang and Jiwei Li},
journal= {arXiv preprint arXiv:2309.14681},
year = {2024}
}