计数任务中注意力头是否竞争或合作
机器学习
2025-02-12 v1 人工智能
摘要
我们对在小型变压器上进行的计数任务进行深入的机制可解释性分析，该任务是许多算法中至关重要的演绎步骤。具体而言，我们调查注意力头之间的协作/竞争情况：我们探讨注意力头是否表现为伪集体，所有人都解决相同的子任务，或者它们执行不同的子任务，这意味着只有在协同工作时才能解决原始任务。我们的工作提供证据表明，在计数任务的语义意义上，注意力头表现为伪集体，但其输出需要以非均匀方式进行聚合，以创建符合语法的编码。我们的源代码将在发表后公开。
引用
@article{arxiv.2502.06923,
title = {Do Attention Heads Compete or Cooperate during Counting?},
author = {Pál Zsámboki and Ádám Fraknói and Máté Gedeon and András Kornai and Zsolt Zombori},
journal= {arXiv preprint arXiv:2502.06923},
year = {2025}
}
备注
14 pages, 15 figures