AR-DAE：面向无偏神经熵梯度估计
机器学习
2020-06-11 v1 机器学习
摘要
熵在机器学习中无处不在，但一般而言，计算任意连续随机变量分布的熵是难以处理的。本文提出摊销残差去噪自编码器（amortized residual denoising autoencoder, AR-DAE）来近似对数密度函数的梯度，该梯度可用于估计熵的梯度。摊销使我们能够通过逼近正则DAE的渐近最优性来显著减小梯度近似器的误差，在此情况下估计在理论上是无偏的。我们对所提方法的近似误差进行了理论与实验分析，并广泛研究了确保其鲁棒性的启发式方法。最后，利用所提出的梯度近似器估计熵的梯度，我们在变分自编码器（variational autoencoders）的密度估计和软 actor-critic（soft actor-critic）的连续控制上展示了最先进的性能。
引用
@article{arxiv.2006.05164,
title = {AR-DAE: Towards Unbiased Neural Entropy Gradient Estimation},
author = {Jae Hyun Lim and Aaron Courville and Christopher Pal and Chin-Wei Huang},
journal= {arXiv preprint arXiv:2006.05164},
year = {2020}
}
备注
accepted in ICML 2020