带噪声探测：解析词嵌入的经纬结构
计算与语言
2022-10-25 v1 人工智能
机器学习
摘要
增进我们对信息如何在向量空间中编码的理解可带来有价值的可解释性洞见。除向量维度外，我们认为向量范数也有可能承载语言信息。我们开发了一种检验此问题的方法：一种探测框架的扩展，允许对探测结果进行相对内在解释。该方法依赖于引入噪声以消除嵌入中编码的信息，并以随机基线和置信区间为基准。我们将该方法应用于成熟的探测任务，发现了证实英语 GloVe 和 BERT 嵌入中存在独立信息容器的证据。我们的相关性分析与实验发现一致，即不同编码器利用范数编码不同类型的信息：GloVe 在向量范数中存储句法和句子长度信息，而 BERT 用它编码上下文不协调性。
引用
@article{arxiv.2210.12206,
title = {Probing with Noise: Unpicking the Warp and Weft of Embeddings},
author = {Filip Klubička and John D. Kelleher},
journal= {arXiv preprint arXiv:2210.12206},
year = {2022}
}
备注
10 pages, 3 tables, Workshop on analyzing and interpreting neural networks for NLP