可逆高斯重参数化：重访 Gumbel-Softmax
机器学习
2022-08-30 v5 机器学习
摘要
Gumbel-Softmax 是单纯形上的一种连续分布，常作为离散分布的松弛使用。由于它易于解释且可轻松重参数化，因而被广泛使用。我们提出一个模块化且更灵活的可重参数化分布族，其中高斯噪声通过可逆函数转化为 one-hot 近似。该可逆函数由改进的 softmax 构成，并可融入服务于不同特定目的的各种变换。例如，stick-breaking 过程使我们能将重参数化技巧扩展到具有可数无限支撑的分布，从而能在非参数模型中使用我们的分布；而归一化流使我们能提升分布的灵活性。我们的构造相比 Gumbel-Softmax 具有理论优势，如闭式 KL，并在多种实验中显著优于它。我们的代码见 https://github.com/cunningham-lab/igr。
引用
@article{arxiv.1912.09588,
title = {Invertible Gaussian Reparameterization: Revisiting the Gumbel-Softmax},
author = {Andres Potapczynski and Gabriel Loaiza-Ganem and John P. Cunningham},
journal= {arXiv preprint arXiv:1912.09588},
year = {2022}
}
备注
Accepted at NeurIPS 2020