LinearVC：从语音转换视角看自监督特征的线性变换

我们引入了 LinearVC，一种简单的语音转换方法，揭示了自监督表示的结构。首先，我们表明自监督特征的简单线性变换能有效转换语音。接着，我们通过约束允许的变换集合来探究特征空间的几何结构。我们发现仅旋转特征就足以实现高质量的语音转换。这表明内容信息嵌入在一个低维子空间中，该子空间可以被线性变换以产生目标语音。为了验证这一假设，我们最终提出了一种使用奇异值分解显式分解内容和说话人信息的方法；由此产生的秩仅为 100 的线性投影给出了有竞争力的转换结果。我们的工作对实际的语音转换和更广泛地理解自监督语音表示都具有重要意义。样本和代码：https://www.kamperh.com/linearvc/。