Transformer 如何学习主题结构：迈向机制性理解
机器学习
2023-07-25 v2 计算与语言
机器学习
摘要
尽管 transformer 在许多领域的成功无可争议，但对其学习机制的准确理解仍大体缺失。其能力已在包含多种结构化与推理任务的基准上被探查——但数学层面的理解仍大幅滞后。近期的研究工作已开始探讨这一问题的表征方面：即基于注意力的网络执行特定任务所需的大小/深度/复杂度。然而，无法保证学习动态会收敛到所提出的构造。在本文中，我们提供了 transformer 如何学习“语义结构”（理解为捕捉词语的共现结构）的细粒度机制性理解。确切地说，我们通过数学分析与在 Wikipedia 数据及由潜在狄利克雷分配（LDA）建模的合成数据上的实验相结合，表明嵌入层和自注意力层编码了主题结构。在前一种情况下，这表现为同主题词之间嵌入的平均内积更高。在后一种情况下，这表现为同主题词之间平均成对注意力更高。数学结果涉及若干为使分析可处理而做的假设，我们在数据上验证了这些假设，并且它们本身也可能具有独立意义。
引用
@article{arxiv.2303.04245,
title = {How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding},
author = {Yuchen Li and Yuanzhi Li and Andrej Risteski},
journal= {arXiv preprint arXiv:2303.04245},
year = {2023}
}