ShineOn：阐明基于视频的实用虚拟试衣的设计选择
计算机视觉与模式识别
2021-01-14 v2 机器学习
摘要
虚拟试衣作为评估复杂对象迁移与场景组合的神经渲染基准任务已引起关注。近期虚拟服装试衣的工作呈现出大量可能的架构与数据表示选择。然而，它们鲜有澄清如何量化每种选择独立的视觉效应，也未指明对实验复现至关重要的超参数细节。我们的工作 ShineOn 从自下而上的路径处理试衣任务，旨在阐明各实验的视觉与定量效应。我们构建了一系列科学实验，以隔离视频合成中用于虚拟服装试衣的有效设计选择。具体而言，我们研究了不同姿态标注、自注意力层位置以及激活函数对视频虚拟试衣定量与定性性能的影响。我们发现 DensePose 标注不仅增强面部细节，还降低内存占用与训练时间。接下来，我们发现注意力层改善面部与颈部质量。最后，我们表明尽管有 Swish 和 Sine 等较新激活函数的吸引力，GELU 和 ReLU 激活函数在我们实验中最为有效。我们将发布组织良好的代码库、超参数与模型检查点以支持结果的可复现性。我们期望我们广泛的实验与代码能极大启发未来视频虚拟试衣的设计选择。我们的代码可在 https://github.com/andrewjong/ShineOn-Virtual-Tryon 获取。
引用
@article{arxiv.2012.10495,
title = {ShineOn: Illuminating Design Choices for Practical Video-based Virtual Clothing Try-on},
author = {Gaurav Kuppa and Andrew Jong and Vera Liu and Ziwei Liu and Teng-Sheng Moh},
journal= {arXiv preprint arXiv:2012.10495},
year = {2021}
}
备注
In Proceedings of Generation of Human Behavior Workshop at IEEE WACV 2021