注意或消亡：算法推理中的注意力机制基准测试
机器学习
2025-07-22 v2 人工智能
摘要
Transformer 能否学会在先前未见过的输入/输出域上可靠地执行算法任务？尽管预训练语言模型在包含算法推理的基准测试上表现出稳健的准确率，但评估这些结果的可靠性需要具备区分真正的算法理解与死记硬背的能力。在本文中，我们提出了 AttentionSpan，这是一个包含五个无限输入域任务的算法基准，在这些任务中我们能够解耦并追踪完成任务所需的正确、稳健的算法。这使我们能够评估模型外推到未见输入类型（包括新长度、数值范围或输入域）的能力，同时也能评估其学习机制的稳健性。通过分析注意力图并执行针对性干预，我们表明注意力机制直接导致了外推失败。我们在 https://github.com/michalspiegel/AttentionSpan 公开了所有任务和可解释性方法的实现。
关键词
引用
@article{arxiv.2503.01909,
title = {Attend or Perish: Benchmarking Attention in Algorithmic Reasoning},
author = {Michal Spiegel and Michal Štefánik and Marek Kadlčík and Josef Kuchař},
journal= {arXiv preprint arXiv:2503.01909},
year = {2025}
}