使用排斥点过程的主动小批量采样
机器学习
2018-06-21 v2 人工智能
机器学习
摘要
随机梯度下降（SGD）的收敛速度可通过主动选择小批量来提升。我们探索了相似数据点不太可能在同一个小批量中被选中的采样方案。特别地，我们证明了此类排斥采样方案降低了梯度估计器的方差。这将近期关于使用行列式点过程（DPPs）进行小批量多样化（Zhang et al., 2017）的工作推广到了更广义的排斥点过程类。我们首先表明，通过多样化采样实现方差降低的现象尤其可推广到非平稳点过程。然后我们表明，其他点过程在计算上可能比DPPs高效得多。特别地，我们提出并研究了在计算机图形学领域经常遇到的泊松磁盘采样（Poisson Disk sampling）用于此任务。我们通过实验表明，我们的方法在标准SGD的收敛速度以及最终模型性能两方面均有改进。
引用
@article{arxiv.1804.02772,
title = {Active Mini-Batch Sampling using Repulsive Point Processes},
author = {Cheng Zhang and Cengiz Öztireli and Stephan Mandt and Giampiero Salvi},
journal= {arXiv preprint arXiv:1804.02772},
year = {2018}
}