TryOnDiffusion：两个 UNet 的故事
计算机视觉与模式识别
2023-06-16 v1 图形学
摘要
给定两张分别描绘一个人和另一人穿着的服装的图像，我们的目标是生成该服装穿在输入人物身上的可视化效果。一个关键挑战是在显著的人体姿态和体型跨主体变化下，合成保留照片级真实细节的服装可视化效果。先前的方法要么聚焦于服装细节保留而缺乏有效的姿态和体型变化，要么允许所需形状和姿态的试穿但缺乏服装细节。本文中，我们提出了一种基于扩散的架构，其统一了两个 UNet（称为 Parallel-UNet），使我们能够在单一网络中保留服装细节并为显著的姿态和体型变化扭曲服装。Parallel-UNet 背后的关键思想包括：1）通过交叉注意力机制隐式扭曲服装，2）服装扭曲与人融合作为统一过程的一部分，而非两个独立任务的序列。实验结果表明，TryOnDiffusion 在定性和定量上均达到了最先进的性能。
引用
@article{arxiv.2306.08276,
title = {TryOnDiffusion: A Tale of Two UNets},
author = {Luyang Zhu and Dawei Yang and Tyler Zhu and Fitsum Reda and William Chan and Chitwan Saharia and Mohammad Norouzi and Ira Kemelmacher-Shlizerman},
journal= {arXiv preprint arXiv:2306.08276},
year = {2023}
}
备注
CVPR 2023. Project page: https://tryondiffusion.github.io/