通过 $\arg \max$ 直接优化离散变分自编码器
机器学习
2019-12-10 v5 机器学习
摘要
对具有连续随机变量的变分自编码器进行重参数化是降低其梯度估计方差的有效方法。在离散情形下，可使用 Gumbel-Max 技巧进行重参数化，但所得目标依赖于 操作且不可微分。与以往借助基于 softmax 的松弛方法不同，我们提出通过应用直接损失最小化方法来直接优化该目标。当评估 操作可行时，我们的方案可自然推广至结构化离散潜变量模型。我们通过实验证明了直接损失最小化技术在具有非结构化与结构化离散潜变量的变分自编码器中的有效性。
引用
@article{arxiv.1806.02867,
title = {Direct Optimization through $\arg \max$ for Discrete Variational Auto-Encoder},
author = {Guy Lorberbom and Andreea Gane and Tommi Jaakkola and Tamir Hazan},
journal= {arXiv preprint arXiv:1806.02867},
year = {2019}
}
备注
Accepted by Neural Information Processing Systems (NeurIPS 2019)