向量量化自编码器的理论与实验
机器学习
2018-07-23 v2 机器学习
摘要
具有离散潜变量的深度神经网络提供了更好的符号推理以及学习对新任务更有用的抽象的希望。对离散潜变量模型的兴趣激增，然而尽管近期有一些改进，离散潜变量模型的训练仍然具有挑战性，且其性能大多未能匹配其连续对应模型。近期关于向量量化自编码器 (VQ-VAE) 的工作在此方向上取得了实质性进展，其在 CIFAR-10 等数据集上的困惑度几乎匹配 VAE。在本工作中，我们受 VQ-VAE 与期望最大化 (EM) 算法联系的启发，研究了一种替代的 VQ-VAE 训练技术。用 EM 训练离散瓶颈有助于我们在 CIFAR-10 上取得更好的图像生成结果，并且结合知识蒸馏，使我们能够开发一个非自回归机器翻译模型，其准确率几乎匹配一个强贪婪自回归基线 Transformer，同时在推理时快 3.3 倍。
引用
@article{arxiv.1805.11063,
title = {Theory and Experiments on Vector Quantized Autoencoders},
author = {Aurko Roy and Ashish Vaswani and Arvind Neelakantan and Niki Parmar},
journal= {arXiv preprint arXiv:1805.11063},
year = {2018}
}