CoT-ICL 实验室：用于研究链式思维情境学习中链式思维的合成框架
计算与语言
2025-05-23 v3 人工智能
机器学习
摘要
我们介绍 CoT-ICL 实验室，这是一个生成合成分词数据集并系统性研究语言模型中链式思维（CoT）情境学习（ICL）的框架与方法。CoT-ICL 实验室允许对情境示例的复杂度进行细粒度控制，通过解耦 (1) 链式 token 生成所涉及的因果结构与 (2) 底层 token 处理函数。我们对使用最多 700 万参数的解码器-only 变压器进行训练，表明 CoT 在不同模型规模之间加速了准确率向更高值的过渡。特别地，我们发现模型深度对于在有限情境示例下利用 CoT 至关重要，而更多示例有助于浅层模型匹配更深层模型的性能。此外，限制训练期间 token 处理函数的多样性可通过 ICL 改进因果结构学习。我们通过分析变压器嵌入和注意力图来解释这些过渡。总体而言，CoT-ICL 实验室作为一种简单而强大的测试台，为理解 ICL 和 CoT 在语言模型中的理论与实证见解提供了支持。
引用
@article{arxiv.2502.15132,
title = {CoT-ICL Lab: A Synthetic Framework for Studying Chain-of-Thought Learning from In-Context Demonstrations},
author = {Vignesh Kothapalli and Hamed Firooz and Maziar Sanjabi},
journal= {arXiv preprint arXiv:2502.15132},
year = {2025}
}
备注
ACL Main 2025