NLP Transformer 内部的双螺旋
人工智能
2023-06-27 v1 计算与语言
摘要
我们引入了一个用于分析 NLP Transformer 中各类信息的框架。在该方法中，我们区分了四个信息层：位置、句法、语义和上下文。我们还论证了将位置信息加到语义嵌入上的常见做法是次优的，并转而提出一种线性加和（Linear-and-Add）方法。我们的分析揭示了位置信息在深层中的自发生成式分离。我们表明，嵌入向量的精炼位置分量在编码器侧和解码器侧均沿着螺旋路径分布。我们还进一步表明，在编码器侧，概念维度生成词性（PoS）簇；在解码器侧，我们表明二元文法（di-gram）方法有助于揭示下一词符的 PoS 簇。我们的方法为阐明 NLP Transformer 深层中的信息处理开辟了一条道路。
引用
@article{arxiv.2306.13817,
title = {The Double Helix inside the NLP Transformer},
author = {Jason H. J. Lu and Qingzhen Guo},
journal= {arXiv preprint arXiv:2306.13817},
year = {2023}
}
备注
Submitted to IEEE Transactions on Neural Networks and Learning Systems 21-Jun-2023. 12 pages, 14 figures