用于采样与估计的密度草图
数据结构与算法
2021-02-25 v1 机器学习
机器学习
摘要
我们引入密度草图（DS）：一种对数据分布的简洁在线摘要。DS 能准确估计逐点概率密度。有趣的是，DS 还提供从底层数据分布中采样未见新数据的能力。因此，类似于流行的生成模型，DS 使我们能以从与原始数据相同分布抽取的合成样本，简洁地替代几乎所有机器学习流水线中的真实数据。然而，与无任何统计保证的生成模型不同，DS 可导出理论上严谨、渐近收敛的底层密度函数一致估计量。密度草图还具有诸多引人瞩目的性质，使其成为大规模分布式应用的理想选择。DS 构建是一种在线算法。草图具有可加性，即两个草图之和即为合并数据的草图。这些性质允许从分布式源收集数据、压缩为密度草图、以草图形式高效传输至中心服务器、合并并重新采样为用于建模应用的合成数据库。因此，密度草图有潜力革新我们存储、通信与分发数据的方式。
引用
@article{arxiv.2102.12301,
title = {Density Sketches for Sampling and Estimation},
author = {Aditya Desai and Benjamin Coleman and Anshumali Shrivastava},
journal= {arXiv preprint arXiv:2102.12301},
year = {2021}
}