迭代注意力头：链式思维的机理研究
机器学习
2024-10-29 v2 人工智能
计算与语言
摘要
链式思维（CoT）推理已在实证和理论逼近能力方面显著提升大型语言模型的性能。然而，我们对CoT能力出现条件及其内在工作机制的理解仍有限。本文通过在受控且可解释的环境中展示CoT推理如何在变压器中出现的，填补了这一理解空白。特别是，我们观察到一种专用于迭代推理的注意力机制的出现，我们将其称为“迭代注意力头”。我们追踪了这些迭代注意力头的出现情况及其精确工作原理，以及它们所赋予的CoT技能在不同任务之间的可传递性。
引用
@article{arxiv.2406.02128,
title = {Iteration Head: A Mechanistic Study of Chain-of-Thought},
author = {Vivien Cabannes and Charles Arnal and Wassim Bouaziz and Alice Yang and Francois Charton and Julia Kempe},
journal= {arXiv preprint arXiv:2406.02128},
year = {2024}
}