基于指纹的大规模去重
计算机视觉与模式识别
2021-01-14 v1
摘要
在基于指纹的系统中，数据库规模随人口增长而显著增加。在发展中国家，由于在登记选民时难以使用中央系统，常常创建若干区域选民数据库，随后合并形成中央数据库。需通过流程去除重复并确保每位选民唯一。迄今为止，专攻生物识别的公司使用多台昂贵的计算服务器及算法来执行基于指纹的大规模去重。这些算法因 O(n2) 的复杂度（其中 n 为数据库规模）而耗时巨大。本文提出一种仅需一台计算机即可在 O(2n) 内完成该操作的算法。其基于利用对每个指纹执行的 5*5 矩阵所得到的索引。该索引可构建大小为 O(1) 的簇以进行指纹比对。该方法使用接近 114000 枚指纹进行评估，结果表明其渗透率低至 1% 以下，实现近乎 O(1) 的识别以及 O(n) 的去重。与常规工具需数天及多台服务器相反，10000000 枚指纹的去重可在一台计算机上不到两小时内完成。关键词：指纹，簇，索引，去重。
引用
@article{arxiv.2101.04976,
title = {Large scale deduplication based on fingerprints},
author = {Jean Aymar Biyiha Nlend and Ibrahim Moukouop Nguena and Thomas Bouetou Bouetou},
journal= {arXiv preprint arXiv:2101.04976},
year = {2021}
}
备注
18 pages, 12 figures