说话人与音素信息在自监督语音表示中的正交性与各向同性

自监督语音表示可以为下游语音技术带来巨大益处，但导致其有用的性质仍知之甚少。已提出两种与表示空间几何性质相关的候选属性，这些属性与下游任务相关性较好：（1）由说话人质心子空间和音素质心子空间所张成的子空间之间的正交程度，以及（2）各向同性，即所有维度实际利用程度的程度。为研究这些属性，我们引入了新的度量——累积残差方差（Cumulative Residual Variance， CRV），可用于评估这两个属性。我们使用用于说话人 ID 和音素 ID 的线性分类器来探测六种不同自监督模型和两个未训练基线的表示。我们询问正交性或各向同性是否与线性探测准确性相关。我们发现，这两种度量都与音素探测准确性相关，但我们对各向同性的结果较为细致。