支持特征插入与删除的极小独立置换
机器学习
2023-08-23 v1 数据结构与算法
摘要
在开创性工作中，Broder等人引入了算法，该算法计算高维二值数据的低维草图，可紧密近似两两Jaccard相似度。自发明以来，已被从业者广泛应用于各类大数据应用。此外，许多现实场景中的数据是动态的，其特征集随时间演化。我们考虑数据集中特征被动态插入与删除的情形。我们注意到该问题的朴素解法是针对更新后的维度重复计算。然而这是一项昂贵任务，因为需要生成全新的随机置换。据我们所知，在特征动态插入与删除背景下尚无对的系统性研究。本工作中我们开启此研究，并提出使草图能适应特征动态插入与删除的算法。我们对算法给出了严格的理论分析，并在多个真实数据集上以大量实验予以补充。经验上我们观察到运行时间显著加速，同时相对于从头运行取得了可比的性能。我们的方案高效、准确且易于实践实现。
引用
@article{arxiv.2308.11240,
title = {Minwise-Independent Permutations with Insertion and Deletion of Features},
author = {Rameshwar Pratap and Raghav Kulkarni},
journal= {arXiv preprint arXiv:2308.11240},
year = {2023}
}