IsoScore：度量嵌入空间利用的均匀性
计算与语言
2023-02-23 v2 机器学习
摘要
分布式词表示近期的成功引起了对分析其空间分布属性的日益关注。若干研究指出，上下文词嵌入模型并未将词元各向同性地投影到向量空间中。然而，当前旨在度量各向同性的方法，如平均随机余弦相似度和划分分数，尚未被透彻分析，且并不适合用于度量各向同性。我们提出 IsoScore：一种量化点云均匀利用外围向量空间程度的新工具。通过严格设计的测试，我们证明 IsoScore 是文献中唯一能准确度量向量空间中方差跨维度均匀分布程度的工具。此外，我们使用 IsoScore 挑战 NLP 文献中若干基于脆弱各向同性度量得出的近期结论。我们警示未来研究不要使用现有工具度量上下文嵌入空间中的各向同性，因为所得结论将具有误导性或完全不准确。
引用
@article{arxiv.2108.07344,
title = {IsoScore: Measuring the Uniformity of Embedding Space Utilization},
author = {William Rudman and Nate Gillman and Taylor Rayne and Carsten Eickhoff},
journal= {arXiv preprint arXiv:2108.07344},
year = {2023}
}
备注
ACL 2022 camera ready version