通过嵌入向量的维度级分析解缠 linguistic features
计算与语言
2025-05-06 v1
摘要
理解神经嵌入的内部工作原理，特别是针对如 BERT 这样的模型，仍然是一个挑战，因为它们具有高维且不透明的特性。本文提出了一种框架，用于揭示嵌入向量中编码特定语言属性（LP）的各个维度。我们引入了 Linguistically Distinct Sentence Pairs（LDSP-10）数据集，隔离了十个关键语言特征，如同义词、否定、时态和数量。使用该数据集，我们通过 Wilcoxon 符号秩检验、互信息和递归特征消除等多种方法，分析 BERT 嵌入，以识别每个 LP 最具影响力的维度。我们引入了一种新指标——嵌入维度影响（EDI）得分，量化每个嵌入维度对 LP 的相关性。我们的发现表明，某些属性（如否定和极性）在特定维度中被稳健地编码，而另一些属性（如同义词）则呈现更复杂的模式。该研究为嵌入的可解释性提供了洞见，可指导开发更透明和优化的语言模型，并对模型偏见缓解以及负责任的 AI 系统部署具有启示。
引用
@article{arxiv.2504.14766,
title = {Disentangling Linguistic Features with Dimension-Wise Analysis of Vector Embeddings},
author = {Saniya Karwa and Navpreet Singh},
journal= {arXiv preprint arXiv:2504.14766},
year = {2025}
}