面向语言学的GAT研究：其知晓的句法依存关系
计算与语言
2023-05-24 v1
摘要
图注意力网络（GAT）是一种图神经网络，是建模和表示显式句法知识的策略之一，并且可以与预训练模型（如BERT）在下游任务中协同工作。目前，仍缺乏从模型结构角度探究GAT如何学习句法知识的研究。作为建模显式句法知识的策略之一，GAT和BERT从未在机器翻译（MT）场景中被应用和讨论。我们设计了一个依存关系预测任务，以研究GAT如何作为注意力头数和层数的函数学习三种语言的句法知识。我们还使用配对t检验和F1分数来阐明GAT与经MT任务微调的BERT（MT-B）在句法依存预测上的差异。实验表明，通过适当增加注意力头数并使用两层GAT可取得更好性能。超过两层时，学习会受损。此外，GAT在训练速度和句法依存预测上比MT-B更具竞争力，这可能揭示了更好地融合显式句法知识建模的可能性，以及将GAT与BERT结合用于MT任务的前景。
引用
@article{arxiv.2305.13403,
title = {GATology for Linguistics: What Syntactic Dependencies It Knows},
author = {Yuqian Dai and Serge Sharoff and Marc de Kamps},
journal= {arXiv preprint arXiv:2305.13403},
year = {2023}
}