用于零样本分类的无图像分类器注入
计算机视觉与模式识别
2023-08-22 v1 机器学习
摘要
零样本学习模型在对训练期间未见过类别的样本进行图像分类时取得了显著结果。然而，此类模型必须用专门的方法从头训练：因此，当需要进行零样本分类时，需要访问训练数据集。在本文中，我们旨在不使用图像数据而为预训练模型赋予零样本分类能力。我们通过提出的语义无图像分类器注入（ICIS）实现这一点，它以事后方式将新、未见过类别的分类器注入预训练分类模型中，而不依赖图像数据。相反，使用的是现有的分类器权重与简单的类级描述符，如类名或属性。ICIS 具有两个编码器-解码器网络，学习从描述符重建分类器权重（反之亦然），利用（交叉）重建与余弦损失来正则化解码过程。值得注意的是，ICIS 可以低成本训练并直接应用于预训练分类模型之上。在基准 ZSL 数据集上的实验表明，ICIS 生成的未见过分类器权重实现了强劲的（广义）零样本分类性能。代码见 https://github.com/ExplainableML/ImageFreeZSL。
引用
@article{arxiv.2308.10599,
title = {Image-free Classifier Injection for Zero-Shot Classification},
author = {Anders Christensen and Massimiliano Mancini and A. Sophia Koepke and Ole Winther and Zeynep Akata},
journal= {arXiv preprint arXiv:2308.10599},
year = {2023}
}
备注
Accepted at ICCV 2023