将层感知序列编码器的表示理解为多阶图
计算与语言
2023-03-15 v2
摘要
在本文中，我们提出了一种基于自注意力网络（SAN）的神经序列编码器的表示解释，该解释将模型所捕获的信息和模型的编码分别视为图结构以及这些图结构的生成。所提出的解释适用于现有的基于 SAN 的模型工作，并能解释捕获结构或语言信息的能力、模型深度和句子长度之间的关系，也可扩展到如基于循环神经网络的模型等其他模型。我们还基于我们的解释提出了一种称为多阶图（MoG）的复现多图，将基于 SAN 的模型中的图结构建模为 MoG 中的子图，并将基于 SAN 的模型的编码转换为 MoG 的生成。基于我们的解释，我们进一步引入了图Transformer（Graph-Transformer），通过增强捕获不同阶子图的能力并聚焦于高阶子图。在多个神经机器翻译任务上的实验结果表明，Graph-Transformer 能带来有效的性能提升。
引用
@article{arxiv.2101.06397,
title = {To Understand Representation of Layer-aware Sequence Encoders as Multi-order-graph},
author = {Sufeng Duan and Hai Zhao},
journal= {arXiv preprint arXiv:2101.06397},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2009.07489