注意力的解剖学

我们引入了一种范畴论图式形式化，以系统性地关系和推理机器学习模型。我们的图表示直观地呈现了架构，却不损失关键细节，其中在模型之间的自然关系由图形变换捕获，重要的差异和相似性可以一目了然地识别。在本文中，我们聚焦于注意力机制：将传说转化为数学推导，构建文献中注意力变体的分类。作为以我们的形式化为支撑的第一次实证调查，我们识别出注意力的反复解剖组成部分，我们全面重组以探索注意力机制变体的空间。