Bird's Eye：用简单信息论方法探测语言图结构
计算与语言
2021-05-27 v4
摘要
NLP 有着以图形式表征我们对语言先验理解的丰富历史。近期关于上下文文本表示分析的工作聚焦于手工设计的探针模型，以理解这些表示如何以及在多大程度上编码了特定语言现象。然而，由于各种现象相互依赖以及探针模型训练的随机性，探测这些表示如何编码这些语言图中的丰富信息仍是一个挑战性问题。本文中，我们提出一种新的信息论探针 Bird's Eye，这是一种相当简单的探针方法，用于探测这些表示是否以及如何在编码这些语言图中的信息。我们的探针不使用分类器性能，而是采取信息论的探测视角，估计嵌入连续空间的语言图与上下文词表示之间的互信息。此外，我们还提出一种利用探针通过扰动分析考察语言图中局部化语言信息的方法。我们称此探测设置为 Worm's Eye。利用这些探针，我们分析了 BERT 模型编码句法图和语义图结构的能力，发现这些模型在某种程度上编码了句法与语义信息，尽管句法信息编码程度更高。
引用
@article{arxiv.2105.02629,
title = {Bird's Eye: Probing for Linguistic Graph Structures with a Simple Information-Theoretic Approach},
author = {Yifan Hou and Mrinmaya Sachan},
journal= {arXiv preprint arXiv:2105.02629},
year = {2021}
}
备注
Accepted for publication at ACL 2021. This is the camera ready version. Our implementation is available in https://github.com/yifan-h/Graph_Probe-Birds_Eye