PASS：一种不含人物的用于自监督预训练的ImageNet替代数据集
计算机视觉与模式识别
2021-09-28 v1 计算机与社会
摘要
计算机视觉长期依赖ImageNet及其他从互联网采样的图像大型数据集来预训练模型。然而，这些数据集存在伦理与技术缺陷，例如包含未经同意获取的个人信息、许可证使用不明确、偏见，以及在某些情况下甚至存在有问题的图像内容。另一方面，当前最先进的预训练通过无监督方法获得，这意味着像ImageNet这样的标注数据集对于模型预训练可能并非必要，甚至可能不是最优的。因此我们提出一个无标签数据集PASS：Pictures without humAns for Self-Supervision（不含人物的自监督图像）。PASS仅包含采用CC-BY许可证并带有完整归属元数据的图像，从而解决版权问题。最重要的是，它完全不含人物图像，并也避免了其他对数据保护或伦理有问题的图像类型。我们展示了PASS可用于MoCo-v2、SwAV和DINO等方法的预训练。在迁移学习设定下，即使在涉及人物的任务（如人体姿态估计）上，它也能产生与ImageNet预训练相近的下游性能。PASS不会使现有数据集过时，例如它不足以用于基准测试。但它表明模型预训练通常可以在使用更安全数据的情况下进行，并且也为更鲁棒地评估预训练方法提供了基础。
引用
@article{arxiv.2109.13228,
title = {PASS: An ImageNet replacement for self-supervised pretraining without humans},
author = {Yuki M. Asano and Christian Rupprecht and Andrew Zisserman and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2109.13228},
year = {2021}
}
备注
Accepted to NeurIPS Track on Datasets and Benchmarks 2021. Webpage: https://www.robots.ox.ac.uk/~vgg/research/pass/