面向情境消除偏见的个性化生成模型

不同的视觉模式在世界中出现的频率不同：例如，沙滩上的球类比在道路上更常见。这些统计信息反映在视觉数据集中，训练得到的模型更容易识别常见情境中的物体。然而，识别道路上的沙滩球可能比识别沙滩上的沙滩球更为重要。我们研究如何缓解这一差异。由于在现实世界中收集罕见图像可能困难，我们探讨了使用生成罕见情境的图像是否可作为有效的训练数据增强。一个关键挑战是引导生成的图像保持接近原始数据分布的同时，创建具有多样性且情境不常见的图像。我们引入解耦情境模式与生成（DecoupleGen），一种个性化文本到图像扩散模型方法，以促进罕见情境图像的连贯合成，同时保留原始视觉细节。生成的图像包含语义上有意义的内容，保持与原始数据集的视觉对齐。我们进一步应用验证约束确保增强数据的相关性。在复杂场景数据集上的对象分类和识别任务上评估我们的方案。我们的实验显示，相较于先前方法，方法一直实现一致的改进，我们的分析识别了这些改进背后的因素。