Batch-ICL：有效、高效且顺序无关的上下文学习
机器学习
2024-06-06 v3 计算与语言
摘要
在本文中，通过将上下文学习（ICL）视为一个元优化过程，我们解释了为什么LLM对ICL示例的顺序敏感。这一理解促使我们开发了Batch-ICL，一种有效、高效且顺序无关的ICL推理算法。与标准的N-shot学习方法不同，Batch-ICL采用N次独立的1-shot前向计算，并聚合得到的元梯度。然后将这些聚合的元梯度应用于零样本查询的前向计算，以生成最终预测。这种批处理方法使得LLM对ICL示例的顺序不敏感。通过大量实验和分析，我们证明Batch-ICL在大多数ICL示例排列上持续优于标准ICL。在某些情况下，它甚至超过了标准ICL最佳顺序的性能，同时减少了所需的计算资源。此外，我们开发了一种新颖的Batch-ICL变体，具有多“轮”元优化。该变体隐式地探索了ICL示例的排列，进一步提升了ICL性能。
引用
@article{arxiv.2401.06469,
title = {Batch-ICL: Effective, Efficient, and Order-Agnostic In-Context Learning},
author = {Kaiyi Zhang and Ang Lv and Yuhan Chen and Hansen Ha and Tao Xu and Rui Yan},
journal= {arXiv preprint arXiv:2401.06469},
year = {2024}
}
备注
This paper has been accepted by ACL 2024 (Findings)