小型Transformer中的计数：注意力层与前馈层之间的微妙互动

除尺度因素外，结构设计选择对Transformer的解空间具有深远影响。本文分析了简单Transformer模块在处理直方图任务（序列中物品计数）时的实现方案。尽管该任务简单，却揭示了预测性能、词汇表大小、嵌入维度、token混合机制以及前馈层容量之间的复杂互动。我们识别出Transformer采用的两种计数策略：基于关系的计数与基于库存的计数，每种策略均定义了该任务的不同学习 regimes。这些策略决定了功能在注意力层与前馈层之间的分布方式。我们进一步表明，加入softmax和序列开始token可在嵌入维度相对较小时提高鲁棒性。对训练后模型的经验性内省 closely 证实了各种架构的学习 regimes 以及这些策略在训练期间形成的过程。我们展示，即使是只需聚合和选择的基本任务，也会被细微的设计变更显著影响。