若注意力作为人类记忆检索的认知模型，那么合理的记忆表征是什么？

近期计算语言学研究揭示了注意力机制与人类记忆检索之间惊人的相似性，主要关注 operate on token-level representations 的 vanilla Transformer。然而，计算语言学研究也表明，句法结构为解释人类句子处理提供了引人注目的解释，而 token 级别因素无法完全解释。本文我们探讨 Transformer Grammar（TG）——该模型独特地 operate on syntactic structures 作为表征单元——是否可作为人类记忆检索的认知模型，以归一化注意力熵（NAE）作为模型与人类之间的链接假设。我们的实验表明，TG 的注意力在预测自愿阅读时间方面优于 vanilla Transformer，进一步分析揭示两者均对阅读时间作出独立贡献。这一发现表明，人类句子处理涉及双重记忆表征——一种基于句法结构，另一种基于 token 序列——而注意力作为通用的记忆检索算法，同时突显了将句法结构作为表征单元的重要性。