用于自回归区间密度估计的变量跳过
机器学习
2020-07-14 v1 数据库
机器学习
摘要
深度自回归模型计算单个数据点的点似然估计。然而,许多应用(如数据库基数估计)需要估计区间密度,这一能力在当前神经密度估计文献中未被充分探索。在这些应用中,对高维数据快速而准确的区间密度估计直接影响用户感知性能。本文探讨一种称为变量跳过的技朮,用于加速深度自回归模型上的区间密度估计。该技术利用区间密度查询的稀疏结构,在近似推断期间避免采样不必要的变量。我们表明,变量跳过在针对高分位误差指标时带来10-100的效率提升,支持文本模式匹配等复杂应用,并且可通过简单的数据增强过程实现,而无需改变通常的最大似然目标。
引用
@article{arxiv.2007.05572,
title = {Variable Skipping for Autoregressive Range Density Estimation},
author = {Eric Liang and Zongheng Yang and Ion Stoica and Pieter Abbeel and Yan Duan and Xi Chen},
journal= {arXiv preprint arXiv:2007.05572},
year = {2020}
}
备注
ICML 2020. Code released at: https://var-skip.github.io/