深度卷积生成对抗网络在语音数据中对局部与非局部依存关系的学习及类规则表示的涌现
计算与语言
2021-09-14 v2 机器学习
摘要
本文主张，在语音数据的局部与非局部依存关系上训练 GAN，可深入揭示深度神经网络如何离散化连续数据，以及类符号的规则基形态音系过程如何在深度卷积架构中涌现。近期 Beguš（2020b; arXiv:2006.03965）将语音习得建模为 GAN 生成的潜空间与数据之间的依存关系，其建模了简单局部音位变体分布的习得。我们扩展该方法以测试包含形态过程近似的局部与非局部音系过程的学习。我们进一步将模型输出与一项行为实验的结果相平行，该实验中人类被试在用于训练 GAN 网络的数据上接受训练。得出四个主要结论：（i）即使在相对较小的人工语法学习实验数据集上训练，这些网络也为语音习得的计算模型提供了有用信息；（ii）局部过程比非局部过程更易学习，这与人类被试的行为数据及世界语言的类型学相符。本文还提出（iii）如何通过在不同训练步数间保持潜空间恒定，主动观察网络的学习进展并探究训练步数对学习表示的影响。最后，本文表明（iv）网络学会用单一潜变量编码前缀的存在；通过该变量插值，我们可主动观察非局部音系过程的运作。所提出的检索学习表示的技术对我们理解 GAN 如何离散化连续语音数据具有普遍意义，并表明训练数据中的类规则概括表现为网络潜空间中变量间的相互作用。
引用
@article{arxiv.2009.12711,
title = {Local and non-local dependency learning and emergence of rule-like representations in speech data by Deep Convolutional Generative Adversarial Networks},
author = {Gašper Beguš},
journal= {arXiv preprint arXiv:2009.12711},
year = {2021}
}
备注
In press at Computer Speech & Language