半监督序列生成模型
机器学习
2020-07-02 v1 机器学习
摘要
我们提出了一种用于训练具有离散隐变量的深度生成时间序列模型的新目标函数，其中仅能稀疏地获得监督信号。这种半监督学习实例对现有方法而言具有挑战性，因为可能的离散隐变量配置数量呈指数级增长，导致梯度估计器方差较高。我们首先通过用重加权唤醒-睡眠（reweighted wake-sleep）扩展标准半监督生成建模目标来克服这一问题。然而，我们发现当可用标签的频率在不同训练序列间变化时，该方法仍存在问题。最后，我们受教师强制（teacher-forcing）启发引入了一个统一目标，并表明该方法对变长监督具有鲁棒性。我们将所得方法称为含咖啡因的唤醒-睡眠（caffeinated wake-sleep, CWS），以强调其对真实数据的额外依赖。我们在 MNIST、手写体和果蝇轨迹数据上的实验证明了其有效性。
引用
@article{arxiv.2007.00155,
title = {Semi-supervised Sequential Generative Models},
author = {Michael Teng and Tuan Anh Le and Adam Scibior and Frank Wood},
journal= {arXiv preprint arXiv:2007.00155},
year = {2020}
}
备注
Accepted to Uncertainty in Artificial Intelligence 2020