Shining Yourself：基于扩散模型的高保真饰品虚拟试戴
计算机视觉与模式识别
2025-03-21 v1
摘要
尽管利用扩散模型进行衣物和鞋子的虚拟试戴已引起广泛关注，但针对饰品（如手镯、戒指、耳环和项链）的虚拟试戴在很大程度上仍未被探索。由于大多数饰品具有复杂的微小图案和重复的几何子结构，在饰品与模特之间存在较大姿态和尺度差异时，保证其一致性与外观一致性变得极为困难。本文提出了饰品虚拟试戴任务，并提出一种提升饰品虚拟试戴几何与外观保持能力的方法。具体而言，我们在去噪过程的迭代方案中估计精确的佩戴掩码，以改善饰品与模特之间的对齐。为保留结构细节，我们进一步对注意力层进行正则化，以隐式方式将参考饰品掩码映射至佩戴掩码。实验结果表明，该方法成功将参考图像中的饰品佩戴至目标模特上，在处理显著尺度和姿态差异的同时保持了身份一致性，并实现了逼真的视觉效果。
引用
@article{arxiv.2503.16065,
title = {Shining Yourself: High-Fidelity Ornaments Virtual Try-on with Diffusion Model},
author = {Yingmao Miao and Zhanpeng Huang and Rui Han and Zibin Wang and Chenhao Lin and Chao Shen},
journal= {arXiv preprint arXiv:2503.16065},
year = {2025}
}