DreamPaint：无需3D建模的电商商品少样本虚拟试穿图像修复
计算机视觉与模式识别
2023-05-03 v1 人工智能
摘要
我们介绍了DreamPaint，一个能在用户提供的任意上下文图像上智能修复任意电商商品的框架。该上下文图像可以是，例如，用户自身的图像用于在自身上虚拟试穿电商目录中的衣物，或是用户的房间图像用于在房间中虚拟试穿电商目录中的一件家具等。与先前基于增强现实(AR)的虚拟试穿方法不同，DreamPaint不使用也不要求对电商商品或用户上下文进行3D建模。相反，它直接使用商品目录数据库中可用的商品2D图像，以及一张上下文的2D照片（例如由用户手机相机拍摄）。该方法依赖于对每个商品使用掩码隐变量（如Masked DreamBooth）少样本微调预训练扩散模型，随后将其权重加载到能够保持上下文图像特征的预训练修复模块上。DreamPaint无需文本引导来描述缺失部分（商品/上下文），即可保留商品图像与上下文（环境/用户）图像。DreamPaint还能智能推断商品的最佳3D角度以放置于用户上下文的所需位置，即便该角度在商品参考2D图像中此前未出现过。我们将结果与文本引导及图像引导的修复模块进行比较，表明DreamPaint在主观人类研究与定量指标上均取得更优性能。
引用
@article{arxiv.2305.01257,
title = {DreamPaint: Few-Shot Inpainting of E-Commerce Items for Virtual Try-On without 3D Modeling},
author = {Mehmet Saygin Seyfioglu and Karim Bouyarmane and Suren Kumar and Amir Tavanaei and Ismail B. Tutar},
journal= {arXiv preprint arXiv:2305.01257},
year = {2023}
}