Self-Demos：激发大语言模型的示例外泛化能力
计算与语言
2024-04-02 v1 人工智能
摘要
大语言模型（LLM）展现出了令人期待的上下文学习（ICL）能力，仅需少量示例即可迅速适应新任务。然而，当前的少样本方法严重依赖于特定于查询的高质量示例，而这些示例往往很缺乏。当面临示例外（OOD）查询时，依赖手工制作示例或外部检索器的方法可能会失效。为了弥合有限示例与 OOD 查询之间的差距，我们提出了 Self-Demos，这是一种通过查询感知的示例生成来激发 LLM 固有泛化能力的新颖提示方法。生成的示例在现有示例和给定查询之间进行策略性插值，将查询从 OOD 转化为 ID。为了评估我们方法的有效性，我们手动构建了 OOD-Toolset，这是一个在工具使用场景下的数据集，包含超过 300 个真实世界的 API 和 1000 个实例，每个实例由三个工具使用案例作为示例和一个 OOD 查询组成。在我们的数据集和两个公开的数学基准上的全面实验表明，我们的方法在 OOD 设置下优于 SOTA 基线。此外，我们进行了一系列分析以验证 Self-Demos 的泛化能力并提供更多见解。
引用
@article{arxiv.2404.00884,
title = {Self-Demos: Eliciting Out-of-Demonstration Generalizability in Large Language Models},
author = {Wei He and Shichun Liu and Jun Zhao and Yiwen Ding and Yi Lu and Zhiheng Xi and Tao Gui and Qi Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2404.00884},
year = {2024}
}
备注
Accepted to NAACL 2024 Findings