面向长尾扩散模型的对比条件-无条件对齐

类别条件图像合成的训练数据常呈现长尾分布，导致尾部类别样本有限。这种不平衡会导致模式坍缩，降低尾部类别合成图像的多样性。针对在不平衡数据上训练的类别条件扩散模型，本文旨在不牺牲头部类别图像质量的前提下，提高尾部类别图像的多样性和保真度。我们通过引入两个简单但高效的损失函数来实现这一目标。首先，我们采用基于负样本的无监督对比损失（Unsupervised Contrastive Loss, UCL），以增加合成图像之间的距离/不相似性。这种正则化方法结合标准的批量重抽样技巧，可进一步多样化尾部类别图像。我们的第二个损失是对齐损失（Alignment Loss, AL），它在较大的时间步长上将类别条件生成与无条件生成对齐。这一第二个损失使去噪过程对初始步骤的类别条件不敏感，从而通过知识共享来丰富尾部类别。我们成功地将对比学习和条件-无条件对齐应用于类别不平衡扩散模型。该框架易于实现，已在基于U-Net架构和扩散Transformer上进行验证。我们的方法在各种数据集上均优于 vanilla 去噪扩散概率模型、基于分数的扩散模型以及其他用于类别不平衡图像生成的替代方法，特别是256×256分辨率的ImageNet-LT。