规模精度：按需获取的领域特定数据集
计算机视觉与模式识别
2024-07-08 v1 人工智能
摘要
在自监督学习（SSL）领域，传统观念倾向于大型通用领域数据集用于预训练稳健的主干网络。本文通过探讨是否可能在通用领域数据集与（通常较小的）领域特定数据集之间建立规模桥梁，以缩小当前性能差距，来挑战这一观念。更具体地，我们提出了规模精度（Precision at Scale，PaS），一种用于按需自动创建领域特定数据集的新方法。PaS 流水线的模块化设计使我们能够利用最先进的基础模型和生成模型，以最少的人工干预，创建任意大小、属于任意领域的图像集合。针对两个复杂领域的广泛分析，证明了 PaS 数据集在多样性、规模和训练视觉变换器和卷积神经网络方面的优势。最显著的是，我们证明了自动生成的领域特定数据集在预训练方面优于大规模监督数据集，如 ImageNet-1k 和 ImageNet-21k。具体而言，使用 PaS 流水线构建的领域特定数据集训练的模型，在所考虑的所有领域和分类任务中均比 ImageNet-1k 预训练的主干网络高出至少 12%，并且在食品领域性能方面优于 ImageNet-21k 预训练，却小 12 倍。代码仓库：https://github.com/jesusmolrdv/Precision-at-Scale/
引用
@article{arxiv.2407.03463,
title = {Precision at Scale: Domain-Specific Datasets On-Demand},
author = {Jesús M Rodríguez-de-Vera and Imanol G Estepa and Ignacio Sarasúa and Bhalaji Nagarajan and Petia Radeva},
journal= {arXiv preprint arXiv:2407.03463},
year = {2024}
}