利用现成扩散模型进行多属性时尚图像编辑
计算机视觉与模式识别
2022-10-13 v1
摘要
时尚属性编辑旨在转换给定时尚图像的语义属性，同时保留无关区域。以往工作通常采用条件 GAN，其中生成器显式学习目标属性并直接执行转换。然而，这些方法既不可扩展也不通用，因为它们仅能处理少量有限属性，且每个数据集或属性集都需要一个独立的生成器。受近期扩散模型进展的启发，我们探索了利用在如 ImageNet 等通用视觉语义上预训练的现成扩散模型的分类器引导扩散。为实现通用编辑流程，我们将此视为多属性图像编辑任务，其属性涵盖物品类别、面料、图案到衣领与领口。我们实证表明，常规方法在我们这一具有挑战性的设定下失效，并研究了高效的适配方案，该方案涉及近期引入的注意力池化技术以获得多属性分类器引导。基于此，我们提出了一种无掩码时尚属性编辑框架，利用分类器 logits 与交叉注意力图进行编辑。我们实证证明，我们的框架取得了令人信服的样本质量与属性对齐。
引用
@article{arxiv.2210.05872,
title = {Leveraging Off-the-shelf Diffusion Model for Multi-attribute Fashion Image Manipulation},
author = {Chaerin Kong and DongHyeon Jeon and Ohjoon Kwon and Nojun Kwak},
journal= {arXiv preprint arXiv:2210.05872},
year = {2022}
}
备注
Accepted to WACV 2023