AdapShot：基于语义感知 KV 缓存复用的自适应多 shot 零样本学习
人工智能
2026-05-06 v1
摘要
多 shot 零样本学习 (ICL) 已成为一种有前景的范例，利用大量示例来发掘大型语言模型 (LLM) 的推理潜能。然而，现有方法通常依赖预设的固定 shot 数量。这种静态方法常因不同查询的难度不同而难以适应，导致要么上下文不足，要么来自噪声的干扰。此外，长上下文的计算和内存成本极度昂贵，严重限制了多 shot 的可行性。为此，我们提出 AdapShot，通过动态优化 shot 数量并利用 KV 缓存复用来高效推理。具体而言，我们设计一种基于探针的评估机制，利用输出熵确定最佳 shot 数量。为规避探针和推理阶段中冗余的预填充计算，我们引入语义感知的 KV 缓存复用策略。在该复用策略中，为解决位置编码不兼容问题，我们引入一种解耦和重新编码方法，使缓存的键值对能够灵活地重新排序。广泛的实验表明，AdapShot 在性能上平均提升约 10%，相较于最先进的 DBSA 实现 4.64 倍的加速。
引用
@article{arxiv.2605.03644,
title = {AdapShot: Adaptive Many-Shot In-Context Learning with Semantic-Aware KV Cache Reuse},
author = {Jie Ou and Jinyu Guo and Shiyao Guo and Yuang Li and Ruiqi Wu and Zhaokun Wang and Wenyi Li and Wenhong Tian},
journal= {arXiv preprint arXiv:2605.03644},
year = {2026}
}