TryOn-Adapter：面向高保真虚拟试衣的高效细粒度服装身份适配
计算机视觉与模式识别
2024-04-02 v1
摘要
虚拟试衣专注于将给定衣服调整为无缝贴合特定人物，同时避免对服装图案和纹理的任何扭曲。然而，现有基于扩散的方法存在服装身份不可控性和训练效率低下的问题，这些方法即使在全参数训练下也难以保持身份，这是阻碍其广泛应用的重大局限。在这项工作中，我们提出了一个有效且高效的框架，称为 TryOn-Adapter。具体而言，我们首先将服装身份解耦为细粒度因子：用于颜色和类别信息的风格，用于高频细节的纹理，以及用于平滑空间自适应变换的结构。我们的方法利用预训练的基于示例的扩散模型作为基础网络，除注意力层外其参数均被冻结。然后，我们定制了三个轻量级模块（风格保留、纹理突出和结构适配）并结合微调技术，以实现精确且高效的身份控制。同时，我们引入了免训练的 T-RePaint 策略，以在推理期间保持逼真试衣效果的同时，进一步增强服装身份保留。我们的实验表明，我们的方法在两个广泛使用的基准上取得了 SOTA 性能。此外，与近期基于全调优扩散的方法相比，我们在训练期间仅使用其约一半的可调参数。代码将在 https://github.com/jiazheng-xing/TryOn-Adapter 公开发布。
引用
@article{arxiv.2404.00878,
title = {TryOn-Adapter: Efficient Fine-Grained Clothing Identity Adaptation for High-Fidelity Virtual Try-On},
author = {Jiazheng Xing and Chao Xu and Yijie Qian and Yang Liu and Guang Dai and Baigui Sun and Yong Liu and Jingdong Wang},
journal= {arXiv preprint arXiv:2404.00878},
year = {2024}
}