利用自然进化策略学习离散结构化变分自编码器
机器学习
2022-05-04 v1 神经与进化计算
机器学习
摘要
离散变分自编码器(VAE)能够在生成学习中表示语义潜空间。在许多现实场景中，离散潜空间由高维结构组成，并通过相关结构传播梯度通常需要在指数级大的潜空间上枚举。近来，人们设计了多种方法以在不枚举可能结构空间的情况下传播近似梯度。本工作中，我们使用自然进化策略(NES)——一类无梯度黑盒优化算法——来学习离散结构化VAE。NES算法在计算上具有吸引力，因为它们仅用前向传播评估来估计梯度，因此不需要通过其离散结构传播梯度。我们通过实验证明，使用NES优化离散结构化VAE与基于梯度的近似方法同样有效。最后，我们证明了NES对离散结构化VAE中出现的非Lipschitz函数收敛。
引用
@article{arxiv.2205.01324,
title = {Learning Discrete Structured Variational Auto-Encoder using Natural Evolution Strategies},
author = {Alon Berliner and Guy Rotman and Yossi Adi and Roi Reichart and Tamir Hazan},
journal= {arXiv preprint arXiv:2205.01324},
year = {2022}
}
备注
Published as a conference paper at ICLR 2022