DM-VTON：蒸馏式移动端实时虚拟试穿
计算机视觉与模式识别
2023-08-29 v1
摘要
近年来时尚电子商务行业显著增长，促使人们探索基于图像的虚拟试穿技术，以将增强现实（AR）体验引入在线购物平台。然而，现有研究主要忽略了一个关键方面——底层机器学习模型的运行时间。尽管现有方法优先提升输出质量，却常忽视执行时间，这限制了其在有限范围设备上的应用。为弥补此缺口，我们提出蒸馏式移动端实时虚拟试穿（DM-VTON），一种旨在实现简洁与高效的新型虚拟试穿框架。我们的方法基于知识蒸馏方案，利用强教师网络作为监督来引导学生网络，且无需依赖人体解析。值得注意的是，我们在学生网络中引入了高效的移动生成模块，在确保高质量输出的同时显著降低了运行时间。此外，我们提出用于数据合成的虚拟试穿引导姿态，以解决训练图像中观察到的姿态变化有限问题。实验结果表明，所提方法在单块Nvidia Tesla T4 GPU上可达每秒40帧，仅占用37 MB内存，同时产生与其他最先进方法几乎相同的输出质量。DM-VTON有望推动实时AR应用的发展，并可生成适用于多样专门训练任务的逼真着衣人体图像。https://sites.google.com/view/ltnghia/research/DMVTON
引用
@article{arxiv.2308.13798,
title = {DM-VTON: Distilled Mobile Real-time Virtual Try-On},
author = {Khoi-Nguyen Nguyen-Ngoc and Thanh-Tung Phan-Nguyen and Khanh-Duy Le and Tam V. Nguyen and Minh-Triet Tran and Trung-Nghia Le},
journal= {arXiv preprint arXiv:2308.13798},
year = {2023}
}
备注
Accepted to ISMAR 2023 (Poster paper)