探索用于语音的生成式 CNN 全连接层中语言表示的编码
计算与语言
2025-01-15 v1
摘要
对 CNN 卷积层的可解释性研究主要集中在计算机视觉领域，但一些研究也探索了音频领域中潜空间与输出之间的对应关系。然而，连接潜空间与卷积层的全连接（FC）层如何表示声学与语言学信息尚未得到彻底检验。本研究首次探索了用于语音合成的 CNN 的 FC 层如何编码与语言相关的信息。我们提出了两种探索全连接层的技术。在实验 1 中，我们将权重矩阵作为卷积层的输入。在实验 2 中，我们操纵 FC 层以探索类符号表示如何在 CNN 中编码。我们利用 FC 层输出特征图以及特定变量的权重矩阵具有时间结构这一事实，以（1）展示学习权重的分布如何以系统化方式在潜变量之间变化，以及（2）展示在保持后续模型参数不变的情况下操纵 FC 层如何影响输出。我们最终提出了一种 FC 操纵方法，可以输出单个片段。使用该技术，我们表明生成式 CNN（ciwGAN）中特定于词项的潜码在 FC 层权重中具有共享的词项不变次词法表示，表明 ciwGAN 以语言学原则性的方式编码词项信息。
引用
@article{arxiv.2501.07726,
title = {Exploring the encoding of linguistic representations in the Fully-Connected Layer of generative CNNs for Speech},
author = {Bruno Ferenc Šegedin and Gasper Beguš},
journal= {arXiv preprint arXiv:2501.07726},
year = {2025}
}