基于扩散时间步的小样本学习器参数化
计算机视觉与模式识别
2024-03-28 v2
摘要
即使使用大型多模态基础模型，小样本学习仍然具有挑战性——如果没有合适的归纳偏置，几乎不可能在去除与类别标签虚假相关的视觉显著属性的同时，保留细微的类别属性。为此，我们发现一个归纳偏置：扩散模型（DM）的时间步可以隔离细微的类别属性，即随着前向扩散在每个时间步向图像添加噪声，细微属性通常比视觉显著的虚假属性更早丢失。基于此，我们提出了时间步小样本（TiF）学习器。我们为文本条件DM训练类别特定的低秩适配器，以弥补丢失的属性，使得图像能够根据提示从其噪声版本中准确重建。因此，在小时间步下，适配器和提示本质上只是细微类别属性的参数化。对于测试图像，我们可以使用该参数化仅提取细微类别属性进行分类。TiF学习器在各种细粒度和定制化小样本学习任务上显著优于OpenCLIP及其适配器。代码见https://github.com/yue-zhongqi/tif。
引用
@article{arxiv.2403.02649,
title = {Few-shot Learner Parameterization by Diffusion Time-steps},
author = {Zhongqi Yue and Pan Zhou and Richang Hong and Hanwang Zhang and Qianru Sun},
journal= {arXiv preprint arXiv:2403.02649},
year = {2024}
}
备注
Accepted by CVPR 2024