基于反事实图像生成的三元组合成用于提升构图图像检索

构图图像检索 (CIR) 为管理和访问大规模视觉数据提供了有效方法。CIR 模型的构建利用由参考图像、描述所需更改的修改文本以及反映这些更改的目标图像构成的三元组。为了有效训练 CIR 模型，需要构建高质量训练数据集，这需要大量的手动标注，既耗时又费力。为解决这一问题，本文提出了一种利用反事实图像生成的新型三元组合成方法。通过控制反事实图像生成中的视觉特征修改，我们的方法可以在没有任何手动干预的情况下自动生成多样化的训练三元组。该方法促进了更大、更丰富数据集的创建， leading to CIR 模型性能的提升。