用于高效物种检测的 LiT 调优模型

视觉-语言模型训练的最新进展展现出了前所未有的鲁棒性和迁移学习效果；然而，标准计算机视觉数据集仅包含图像，因此不太适应此类训练方法。本文提出了一种简单的方法，用于将任何细粒度图像分类数据集改造以用于分布式视觉-语言预训练。我们在具有挑战性的 iNaturalist-2021 数据集上实现了该方法，该数据集包含约 270 万张跨越 10,000 个类别的宏观生物图像，并在零样本分类准确率方面取得了新的最先进模型。有些令人惊讶的是，我们的模型（使用一种称为锁定图像文本调优的新方法训练）采用预训练且冻结的视觉表征，证明仅通过语言对齐即可在即便混乱、长尾的数据集上获得强大的迁移学习性能。我们的方法为在涉及物种检测的农业相关应用中利用高质量视觉-语言预训练模型打开了大门。