是什么让 ImageNet 看起来不同于 LAION
机器学习
2024-10-30 v2 计算机视觉与模式识别
摘要
ImageNet 是著名的基于 Flickr 图像搜索结果创建的。如果我们仅基于图像描述在庞大的 LAION 数据集中搜索来重建 ImageNet 会怎样？在这项工作中，我们进行了这一反事实研究。我们发现所得的 ImageNet 重建版本（我们称之为 LAIONet）看起来与原版明显不同。具体而言，原始 ImageNet 中图像的类内相似度远高于 LAIONet。因此，在 ImageNet 上训练的模型在 LAIONet 上表现显著更差。我们针对该差异提出了一种严谨的解释，即两个合理的数据集因果生成过程之间存在微妙但重要的差异，并通过系统性实验予以支持。简而言之，仅基于图像描述进行搜索会造成信息瓶颈，从而缓解基于图像过滤中原本存在的选择偏差。我们的解释形式化了社区中长期持有的直觉：ImageNet 图像是类类别的刻板、不自然且过于简单的表征。同时，它为未来的数据集创建工作提供了一个简单且可操作的启示。
引用
@article{arxiv.2306.15769,
title = {What Makes ImageNet Look Unlike LAION},
author = {Ali Shirali and Moritz Hardt},
journal= {arXiv preprint arXiv:2306.15769},
year = {2024}
}