FitDiT: 提升高保真虚拟试穿的真实服装细节

尽管基于图像的虚拟试穿已取得显著进展，但新兴方法在跨多样场景生成高保真且鲁棒的试穿图像时仍面临挑战。这些方法常难以解决纹理感知保持和尺寸感知试穿等问题，从而限制了其整体效果。为克服这些局限，我们提出一种名为 FitDiT 的新型服装感知增强技术，专为基于扩散变换器的高保真虚拟试穿设计，通过分配更多参数和注意力至高分辨率特征。首先，为进一步改善纹理感知保持，我们引入一种融合服装先验演化的服装纹理提取器，以微调服装特征，从而更好地捕捉条纹、图案和文字等丰富细节。此外，我们通过定制频率距离损失引入频域学习，以增强服装高频细节。针对尺寸感知试穿问题，我们采用一种膨胀松弛掩码策略，使其适应服装的正确长度，防止跨类别试穿时生成填满整个掩码区域的服装。凭借上述设计，FitDiT 在定性和定量评估中均超越所有基线。它能生成贴合度高、细节逼真且错综复杂的服装，同时在 DiT 结构瘦身后，单张 1024x768 图像的推理时间仅为 4.57 秒，优于现有方法。