Diffuse to Choose：在潜在扩散模型中丰富图像条件修复以实现虚拟全试穿
计算机视觉与模式识别
2024-01-26 v1
摘要
随着在线购物的增长，买家在其环境中虚拟可视化产品的能力——我们将其定义为“虚拟全试穿”——已变得至关重要。最近的扩散模型本身包含一个世界模型，使其适用于修复上下文中的这一任务。然而，传统的图像条件扩散模型通常无法捕捉产品的细粒度细节。相比之下，像 DreamPaint 这样的个性化驱动模型擅长保留物品的细节，但它们并未针对实时应用进行优化。我们提出了“Diffuse to Choose”，这是一种新颖的基于扩散的图像条件修复模型，它有效地平衡了快速推理与给定参考物品中高保真细节的保留，同时确保在给定场景内容中进行准确的语义操作。我们的方法基于将参考图像中的细粒度特征直接整合到主扩散模型的潜在特征图中，并结合感知损失以进一步保留参考物品的细节。我们在内部和公开可用的数据集上进行了广泛测试，并表明 Diffuse to Choose 优于现有的零样本扩散修复方法以及像 DreamPaint 这样的少样本扩散个性化算法。
引用
@article{arxiv.2401.13795,
title = {Diffuse to Choose: Enriching Image Conditioned Inpainting in Latent Diffusion Models for Virtual Try-All},
author = {Mehmet Saygin Seyfioglu and Karim Bouyarmane and Suren Kumar and Amir Tavanaei and Ismail B. Tutar},
journal= {arXiv preprint arXiv:2401.13795},
year = {2024}
}