将多Shot 零样本学习蒸馏为作弊卡
计算与语言
2025-09-26 v1
摘要
最近的大型语言模型（LLM）进展使其能够有效地进行 many-shot 零样本学习，但因输入标记较长而计算开销高。为此，我们提出 cheat-sheet 零样本学习，通过将 many-shot 零样本学习中的信息蒸馏到简洁文本摘要（作弊卡）中，用作推理时的上下文。在具有挑战性的推理任务上进行实验，表明 cheat-sheet 零样本学习在远少于标记的情况下，实现了与 many-shot 零样本学习相当或更好的性能，且无需测试时检索即可匹配检索式零样本学习。这些发现表明，cheat-sheet 零样本学习是一种实用的下游任务中利用 LLM 的替代方法。
引用
@article{arxiv.2509.20820,
title = {Distilling Many-Shot In-Context Learning into a Cheat Sheet},
author = {Ukyo Honda and Soichiro Murakami and Peinan Zhang},
journal= {arXiv preprint arXiv:2509.20820},
year = {2025}
}
备注
Accepted to EMNLP 2025 (Findings)