基于自适应扰动的离散潜变量模型梯度估计
机器学习
2023-02-07 v2 人工智能
计算与语言
神经与进化计算
摘要
在深度学习架构中集成离散算法组件具有众多应用。近来，Niepert、Minervini 与 Franceschi（2021）提出了隐式最大似然估计（IMLE），一类针对离散指数族分布的梯度估计器，其通过扰动隐式微分与路径wise梯度估计器相结合实现。然而，由于梯度的有限差分近似，它对有限差分步长的选择尤为敏感，而该步长需由用户指定。本工作中，我们提出自适应 IMLE（AIMLE），首个面向复杂离散分布的自适应梯度估计器：它通过权衡梯度信息的密度与梯度估计的偏差程度，自适应地为 IMLE 确定目标分布。我们在合成示例以及学习解释、离散变分自编码器与神经关系推断任务上对所提估计器进行了实证评估。实验中，我们表明该自适应梯度估计器可生成忠实估计，同时所需样本数量比其他梯度估计器少数个数量级。
引用
@article{arxiv.2209.04862,
title = {Adaptive Perturbation-Based Gradient Estimation for Discrete Latent Variable Models},
author = {Pasquale Minervini and Luca Franceschi and Mathias Niepert},
journal= {arXiv preprint arXiv:2209.04862},
year = {2023}
}
备注
Proceedings of the Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI 2023)