数据流上的线性分类器草图
机器学习
2018-04-10 v2 数据结构与算法
机器学习
摘要
我们引入一种新的亚线性空间草图——权重中位数草图（Weight-Median Sketch）——用于通过数据流学习压缩线性分类器，同时支持模型中大模权重的高效恢复。这使得在流上可执行若干内存受限的统计分析，包括在线特征选择、流数据解释、相对三角检测以及点互信息的流估计。与捕获数据流中最频繁出现特征（或项）的相关草图不同，权重中位数草图捕获相较于另一流（或类）最具判别力的特征。权重中位数草图采用 Count-Sketch 中的核心数据结构，但不同于对计数草图化，它捕获对模型参数的草图化梯度更新。我们提供理论分析，建立了批学习与在线学习的恢复保证，并展示了在内存-精度权衡上相对于替代性内存受限方法（包括基于计数的草图和特征哈希）的经验改进。
引用
@article{arxiv.1711.02305,
title = {Sketching Linear Classifiers over Data Streams},
author = {Kai Sheng Tai and Vatsal Sharan and Peter Bailis and Gregory Valiant},
journal= {arXiv preprint arXiv:1711.02305},
year = {2018}
}
备注
Full version of paper appearing at SIGMOD 2018 with more detailed proofs of theoretical results. Code available at https://github.com/stanford-futuredata/wmsketch