视觉线索在视听语音增强中的作用探析

我们呈现了对一个视听语音增强模型的内省分析。特别地，我们聚焦于解释神经视听语音增强模型如何利用视觉线索来提升目标语音信号的质量。我们表明视觉线索不仅提供关于语音活动（即语音/静音）的高层信息，还提供关于发音部位的细粒度视觉信息。该发现的一个副产品是，学习到的视觉嵌入可作为其他视觉语音应用的特征。我们展示了学习到的视觉嵌入在分类视位（对应于音位的视觉类比）上的有效性。我们的结果深入揭示了视听语音增强的重要方面，并展示了此类模型如何用于视觉语音应用的自监督任务。