来自个性化生成的个性化表示

现代视觉模型在通用下游任务中表现出色，但它们如何用于需要精细且数据稀缺的个性化视觉任务尚不明了。近期工作成功地将合成数据应用于通用-purpose 表示学习，而 T2I 扩散模型的进步则使仅凭少量真实示例即可生成个性化图像成为可能。本文探索了这些想法之间的潜在联系，正式化了使用个性化合成数据来学习个性化表示的挑战，这些表示编码了关于感兴趣对象的知识，可灵活应用于与目标对象相关的任何下游任务。我们引入了一个用于该挑战的评估套件，包括对两个现有数据集的重新表述以及一个专为此目的构建的新数据集，并提出一种对比学习方法，创造性地利用图像生成器。我们显示，该方法改进了针对 diverse 下游任务（从识别到分割）的个性化表示学习，并分析了图像生成方法的特征，这些特征是本次提升的关键。