基于压缩与签名快速估计Levenshtein距离以识别文档相似性
信息检索
2023-07-24 v1
摘要
识别文档相似性有许多应用，例如源代码分析或剽窃检测。然而，识别相似性并非易事，且可能具有时间复杂性。例如，Levenshtein距离是定义两个文档之间相似性的常用度量，但其具有二次运行时间，这使得它对于大型文档（此处大型始于几百千字节）不实用。在本文中，我们提出了一种允许估计Levenshtein距离的新概念：该算法首先使用用户定义的压缩比将文档压缩为签名（类似于哈希值）。然后可以彼此比较签名（适用一些约束），其结果为估计的Levenshtein距离。我们的评估在运行效率和准确性方面显示出有前景的结果。此外，我们引入了一个显著性分数，允许审查者设置阈值并识别相关文档。
引用
@article{arxiv.2307.11496,
title = {Identifying document similarity using a fast estimation of the Levenshtein Distance based on compression and signatures},
author = {Peter Coates and Frank Breitinger},
journal= {arXiv preprint arXiv:2307.11496},
year = {2023}
}
备注
In: Proceedings of the Digital Forensics Research Conference Europe (DFRWS EU). 2022