高维潜空间中可靠的散布度量

理解自然语言处理模型潜空间的几何性质，可对这些性质进行操控以提升下游任务性能。其中一个性质是模型潜空间中数据散布的量，即可用潜空间被使用的充分程度。在本文中，我们定义数据散布，并证明常用的数据散布度量——平均余弦相似度与配分函数最小/最大比 I(V)——不能提供可靠的指标来跨模型比较潜空间的使用情况。我们提出并考察了八种替代的数据散布度量，除一种外，在应用于七个合成数据分布时均优于这些现有度量。在我们提出的度量中，我们推荐一种基于主成分的度量和一种基于熵的度量，它们提供可靠的相对散布度量，并可用于比较不同规模与维度的模型。