对隐变量在序列建模中作用的再审视
机器学习
2019-09-17 v2 机器学习
摘要
借助隐变量，随机循环模型在声波序列建模中取得了最先进的性能。然而在其他领域也观察到相反结果，其中标准循环网络通常优于随机模型。为更好理解这一差异，我们重新审视隐变量在用于语音密度估计的随机循环模型中的作用。我们的分析揭示，在先前评估中完全因子化输出分布的限制下，随机模型隐式利用了步内相关性，而标准循环基线被禁止这样做，导致不公平的比较。为纠正这种不公平，我们在再审视中去除该限制，所有模型均可通过自回归结构显式利用步内相关性。在包括人类语音、MIDI 音乐、手写轨迹和帧置换语音的多样化序列数据上，我们的结果表明，尽管声称具有理论优越性，随机循环模型未能展现出任何实际优势。相反，配备自回归输出分布的标准循环模型始终表现更好，在三个语音数据集上显著推进了最先进结果。
引用
@article{arxiv.1902.01388,
title = {Re-examination of the Role of Latent Variables in Sequence Modeling},
author = {Zihang Dai and Guokun Lai and Yiming Yang and Shinjae Yoo},
journal= {arXiv preprint arXiv:1902.01388},
year = {2019}
}
备注
Code available at https://github.com/zihangdai/reexamine-srnn, accepted by NeurIPS 2019