基于对抗神经网络的正则化序列隐变量模型
机器学习
2021-08-11 v1 人工智能
摘要
具有丰富分布式内部状态和灵活非线性转移函数的循环神经网络（RNN），在高度结构化序列数据建模任务中已超越了动态贝叶斯网络，如隐马尔可夫模型（HMMs）。这些数据（如语音和手写数据）通常包含底层变异因子与观测数据之间的复杂关系。标准 RNN 模型在其结构中具有非常有限的随机性或变异性，这些随机性仅来自于输出条件概率模型。本文将介绍在 RNN 中使用高层隐随机变量来建模序列数据变异性的不同方法，以及此类 RNN 模型在 VAE（变分自编码器）原则下的训练方法。我们将探索使用对抗方法训练变分 RNN 模型的可能途径。与竞争方法相反，我们的方法在模型训练中具有理论最优性，并提供了更好的模型训练稳定性。我们的方法还通过独立的对抗训练步骤改进了变分推理网络中的后验近似。由 TIMIT 语音数据模拟的数值结果表明，重构损失和证据下界收敛至同一水平，且对抗训练损失收敛至 0。
引用
@article{arxiv.2108.04496,
title = {Regularized Sequential Latent Variable Models with Adversarial Neural Networks},
author = {Jin Huang and Ming Xiao},
journal= {arXiv preprint arXiv:2108.04496},
year = {2021}
}
备注
A-VRNN