大规模 CoT-ICL：让基于情境学习真正变得可学习
计算与语言
2026-05-29 v2 人工智能
摘要
虽然大规模情境学习在实际应用中取得了显著的性能，但先前关于其规模化行为的研究主要集中在非推理任务上。本文我们聚焦于推理任务上的大规模情境学习，尤其是关注大规模链式思考情境学习 (CoT-ICL)。在非推理与推理任务之间以及在非推理与推理导向的大语言模型之间，我们识别出了大规模 CoT-ICL 的若干独特特性。我们通过将大规模 CoT-ICL 视为情境测试时学习而非扩展模式匹配来解释这些发现，并提出两个原则：(i) 演示应使目标模型轻易理解，(ii) 应按支持平滑概念进展的顺序排列。遵循该原则，我们提出曲线演示选择法 (Curvilinear Demonstration Selection, CDS)，一种简单的方法可在包含 64 个演示的算术任务中实现最高 5.42 个百分点的提升。总体而言，我们的结果将长上下文窗口从检索缓冲区重新框定为面向情境测试时学习的结构化课程。
引用
@article{arxiv.2605.13511,
title = {Many-Shot CoT-ICL: Making In-Context Learning Truly Learn},
author = {Tsz Ting Chung and Lemao Liu and Mo Yu and Dit-Yan Yeung},
journal= {arXiv preprint arXiv:2605.13511},
year = {2026}
}
备注
Accepted by ICML 2026