DBsurf：一种基于差异的离散随机梯度估计方法
机器学习
2023-09-11 v1
摘要
计算期望关于离散分布的分布参数的梯度是科学与工程诸多领域中出现的问题。通常，该问题使用 Reinforce 处理，其将梯度估计问题构建为蒙特卡洛模拟。遗憾的是，Reinforce 估计量对真实概率分布与抽取样本之间的差异尤为敏感，这是低采样机制中的常见问题，会导致不准确的梯度估计。本文中，我们引入 DBsurf，一种基于 reinforce 的离散分布估计量，其使用新颖采样过程来减小样本与实际分布间的差异。为评估我们估计量的性能，我们将其置于一组多样任务中。在现有估计量中，DBsurf 在文献中常用于基准测试的最小二乘问题中取得最低方差。此外，DBsurf 在不同数据集与采样设置下训练变分自编码器（VAE）时取得最佳结果。最后，我们应用 DBsurf 构建了一个简单高效的神经架构搜索（NAS）算法，具有最先进的性能。
引用
@article{arxiv.2309.03974,
title = {DBsurf: A Discrepancy Based Method for Discrete Stochastic Gradient Estimation},
author = {Pau Mulet Arabi and Alec Flowers and Lukas Mauch and Fabien Cardinaux},
journal= {arXiv preprint arXiv:2309.03974},
year = {2023}
}
备注
22 pages, 7 figures