基于动态块稀疏注意力的高效多样本上下文学习
计算与语言
2025-03-19 v2
摘要
多样本上下文学习最近作为微调的替代方案展现出前景，其主要优势在于同一模型可以服务于多个任务。然而，这会将计算负担从训练时转移到推理时，使得多样本ICL的部署难以在实践中得到合理化。如果为每个推理样本检索自定义演示集，这一成本会进一步增加。我们提出动态块稀疏注意力，一个用于基于检索的多样本上下文学习的免训练框架。通过结合精心设计的块稀疏注意力和缓存演示组的检索，我们在保持平均超过95%的最佳方法准确性的同时（涵盖强大的ICL和微调基线），实现了与微调相当的逐样本延迟。我们希望这将进一步推动多样本ICL的大规模部署。
引用
@article{arxiv.2503.08640,
title = {Efficient Many-Shot In-Context Learning with Dynamic Block-Sparse Attention},
author = {Emily Xiao and Chin-Jou Li and Yilin Zhang and Graham Neubig and Amanda Bertsch},
journal= {arXiv preprint arXiv:2503.08640},
year = {2025}
}
备注
Preprint