利用 Count-Min Sketch 将基于图的半监督学习扩展至大规模标签
机器学习
2014-03-03 v2
摘要
基于图的半监督学习 (SSL) 算法已成功应用于大量场景。这些方法通过从种子节点开始在图结构上传播标签信息，对初始未标记的节点进行分类。基于图的 SSL 算法通常随不同标签数量 (m) 线性扩展，并且每个节点需要 O(m) 的空间。不幸的是，许多具有实际意义的应用在大型图上涉及非常大的 m，从而对空间和时间复杂度提出了更高的要求。在本文中，我们提出了 MAD-SKETCH，这是一种新颖的基于图的 SSL 算法，它使用 Count-min Sketch（一种随机化数据结构）紧凑地存储每个节点上的标签分布。我们提供的理论分析表明，在温和条件下，MAD-SKETCH 可以将每个节点的空间复杂度从 O(m) 降低到 O(log m)，并在时间复杂度上实现类似的节省。我们通过在多个真实世界数据集上的实验支持了我们的分析。我们观察到，MAD-SKETCH 实现了与现有最先进 (state-of-the-art) 基于图的 SSL 算法相当的性能，同时需要更小的内存占用，并实现了高达 10 倍的加速。我们发现 MAD-SKETCH 能够扩展到具有百万级标签的数据集，这超出了现有基于图的 SSL 算法的范围。
引用
@article{arxiv.1310.2959,
title = {Scaling Graph-based Semi Supervised Learning to Large Number of Labels Using Count-Min Sketch},
author = {Partha Pratim Talukdar and William Cohen},
journal= {arXiv preprint arXiv:1310.2959},
year = {2014}
}
备注
9 pages