多样性必不可少：通过 Stable Diffusion 改进模型无关的零样本分类

在本工作中，我们研究了模型无关的零样本分类（MA-ZSC）问题，即在训练期间不使用任何真实图像的情况下，训练非特定分类架构（下游模型）以对真实图像进行分类。最近的研究表明，利用扩散模型生成合成训练图像为解决 MA-ZSC 提供了一种潜在方案。然而，该方法目前的性能仍不及大规模视觉-语言模型。一种可能的解释是合成图像与真实图像之间存在潜在的显著领域差异。我们的工作为该问题提供了一个新视角，给出了初步见解：通过提高生成数据集中图像的多样性，可以改善 MA-ZSC 的性能。我们提出了一组使用预训练扩散模型对文本到图像生成过程的修改以增强多样性，我们将其称为 $\textbf{bag of tricks}$。我们的方法在各种分类架构中均显示出显著改进，结果可与 CLIP 等 SOTA 模型相媲美。为了验证我们的方法，我们在 CIFAR10、CIFAR100 和 EuroSAT 上进行了实验，其中 EuroSAT 因其卫星图像领域特性对零样本分类尤为困难。我们使用包括 ResNet 和 ViT 在内的五种分类架构评估了我们的方法。我们的发现为利用扩散模型解决 MA-ZSC 问题提供了初步见解。所有代码将在 GitHub 上提供。