RevCD——用于广义零样本学习的逆向条件扩散模型

在广义零样本学习（GZSL）中，我们旨在使用仅在已知类别上训练的模型来识别已知和未知类别。在计算机视觉中，这转化为一个分类问题，即通过利用视觉特征与可用语义信息（如文本语料库或人工标注）之间的关系，将知识从已知类别迁移到未知类别。然而，学习这种联合分布成本高昂，且需要与相应语义信息进行一对一训练。我们提出了一种基于逆向条件扩散的模型（RevCD），该模型通过利用扩散模型的条件机制，从视觉输入合成语义特征，从而缓解了这一问题。我们的RevCD模型由一个正弦时间步长的交叉哈达玛-加法嵌入和一个用于注意力引导嵌入的多头视觉Transformer组成。所提出的方法引入了三项关键创新。首先，我们逆转了基于视觉数据生成语义空间的过程，引入了一种新颖的损失函数，以促进更高效的知识迁移。其次，我们将扩散模型应用于零样本学习——这是一种利用其在捕捉数据复杂性方面优势的新颖方法。第三，我们通过全面的跨数据集评估展示了模型的性能。完整代码将在GitHub上发布。