生成对抗音系学：用神经网络建模无监督语音与音系学习

在语音数据中已被充分理解的依赖关系上训练深度神经网络，可为其如何学习内部表征提供新见解。本文主张，语音习得可建模为生成对抗网络架构中随机空间与所生成语音数据之间的依赖关系，并提出了一种方法来揭示网络中对应用于语音与音系属性的内部表征。生成对抗架构 uniquely 适用于建模语音与音系学习，因为该网络在未经标注的原始声学数据上训练，且学习为无监督，不带任何语言特定假设或预设抽象层级。一个生成对抗网络在英语音位变体分布上接受训练。该网络成功习得了音位变体交替：网络生成的语音信号包含送气时长的条件分布。本文提出一种建立网络内部表征的技术，可识别对应于例如 [s] 的存在及其谱属性的潜变量。通过操纵这些变量，我们主动控制生成输出中 [s] 的存在及其摩擦振幅。这表明网络学会将潜变量用作语音与音系表征的近似。关键的是，我们观察到训练中习得的依赖关系延伸至训练区间之外，从而允许对学习的表征作额外探索。本文还讨论了该网络架构与创新输出在语言习得、言语障碍与言语错误方面与语言行为的相似与差异，以及语音数据中已被充分理解的依赖关系如何助我们解释神经网络如何学习其表征。