变压器中的情景记忆现象：训练期间注意力得分时间结构变化的刻画
机器学习
2025-02-12 v1 人工智能
计算与语言
摘要
我们利用认知科学的方法，探讨注意力头和变压器输出中的情境时间偏差。通过分析不同规模的 GPT-2 模型的注意力得分和输出，我们观察到注意力头之间存在典型的人类情景记忆特征，包括时间连续性、 primacy 效应和 recency 效应。变压器输出表现出对情境内序列回忆的倾向。重要的是，在消除诱导头 (induction heads) 后，这一效应被消除，而诱导头是连续性效应的驱动力。我们的发现为理解变压器在情境学习中如何组织时间信息提供了洞见，阐明了其与人类记忆和学习的相似性与差异。
引用
@article{arxiv.2502.06902,
title = {Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training},
author = {Deven Mahesh Mistry and Anooshka Bajaj and Yash Aggarwal and Sahaj Singh Maini and Zoran Tiganj},
journal= {arXiv preprint arXiv:2502.06902},
year = {2025}
}