一种简单高效的零样本生成式分类基线
计算机视觉与模式识别
2024-12-18 v1
摘要
大型扩散模型已成为学术研究和工业 AIGC 应用中的主流生成模型。最近，一些工作进一步探索了如何利用大型扩散模型的能力作为零样本分类器。虽然最近基于扩散的零样本分类器在基准数据集上取得了性能提升，但它们仍然深受分类速度极慢的困扰（例如，在 ImageNet 上对单张图像进行分类约需 1000 秒）。极其缓慢的分类速度严重阻碍了现有的基于扩散的零样本分类器的实际应用。在本文中，我们通过预训练的文本到图像扩散模型和 DINOv2 提出了一种极其简单高效的零样本高斯扩散分类器（GDC）。所提出的 GDC 不仅在 ImageNet 上显著超越了先前的基于扩散的零样本分类器 10 个百分点以上（61.40% - 71.44%），而且在 ImageNet 上对单张图像分类的速度加快了 30000 倍以上（1000 秒 - 0.03 秒）。此外，它还提供了结果的概率解释。我们的大量实验进一步表明，GDC 可以在各种数据集上实现极具竞争力的零样本分类性能，并且有望通过更强的扩散模型进行自我改进。据我们所知，所提出的 GDC 是首个同时具备竞争性准确率和实用效率的基于扩散的零样本分类器。
引用
@article{arxiv.2412.12594,
title = {A Simple and Efficient Baseline for Zero-Shot Generative Classification},
author = {Zipeng Qi and Buhua Liu and Shiyan Zhang and Bao Li and Zhiqiang Xu and Haoyi Xiong and Zeke Xie},
journal= {arXiv preprint arXiv:2412.12594},
year = {2024}
}