关于 LAION-2B 的去重
计算机视觉与模式识别
2023-03-23 v1 人工智能
摘要
生成模型，如 DALL-E、Midjourney 和 Stable Diffusion，具有超出计算机科学领域的社会影响。这些模型需要像 LAION-2B 这样包含二十亿图像的大型图像数据库。在此规模下，人工检查困难且自动化分析具有挑战性。此外，近期研究表明，重复图像给在 LAION-2B 上训练的模型带来版权问题，阻碍了其可用性。本文提出一种以适度计算资源运行的算法链，其压缩 CLIP 特征以实现高效的重复检测，即便对于海量图像也是如此。我们的方法表明，LAION-2B 中约 7 亿张图像（约 30%）很可能重复。我们的方法还提供了该数据集上的重复直方图，我们用其揭示更多由 Stable Diffusion 生成的逐字拷贝示例，并进一步佐证该方法。去重集的当前版本将在线分发。
引用
@article{arxiv.2303.12733,
title = {On the De-duplication of LAION-2B},
author = {Ryan Webster and Julien Rabin and Loic Simon and Frederic Jurie},
journal= {arXiv preprint arXiv:2303.12733},
year = {2023}
}