Grimoire 是增强大型语言模型所需的一切
计算与语言
2024-01-11 v2
摘要
上下文学习（In-context Learning, ICL）是通过提供一组少样本示例来增强大型语言模型在特定任务上性能的关键方法之一。然而，由于模型架构、学习数据量和参数规模等因素，不同类型的模型的 ICL 能力表现出显著差异。通常，模型的参数规模越大、学习数据越广泛，其 ICL 能力越强。在本文中，我们提出了一种名为 SLEICL 的方法，该方法利用强语言模型从示例中学习，然后将这些习得的技能总结并迁移到弱语言模型中以进行推理和应用。这确保了 ICL 的稳定性和有效性。与直接让弱语言模型从提示示例中学习相比，SLEICL 降低了这些模型的 ICL 难度。我们在五个语言模型和多达八个数据集上进行的实验表明，使用 SLEICL 方法，弱语言模型相较于其自身的零样本或少样本能力取得了一致的提升。在 SLEICL 的辅助下，部分弱语言模型甚至超越了 GPT4-1106-preview（零样本）的性能。
引用
@article{arxiv.2401.03385,
title = {Grimoire is All You Need for Enhancing Large Language Models},
author = {Ding Chen and Shichao Song and Qingchen Yu and Zhiyu Li and Wenjin Wang and Feiyu Xiong and Bo Tang},
journal= {arXiv preprint arXiv:2401.03385},
year = {2024}
}
备注
9 pages