GaussianVTON：基于多阶段高斯点云编辑的 3D 人体虚拟试穿方法
计算机视觉与模式识别
2024-05-24 v2
摘要
电子商务的日益重要性凸显了虚拟试穿（VTON）的重要性。然而，以往的研究主要关注 2D 领域，依赖大量数据进行训练。 3D VTON 主要聚焦于衣物与身体形状的兼容性，这一主题在 2D VTON 中已广泛涵盖。得益于 3D 场景编辑的进展， 2D 扩散模型现已适用于通过多视角编辑实现 3D 编辑。本文提出了 GaussianVTON，一种将高斯点云（GS）编辑与 2D VTON 集成的创新 3D VTON 流水线。为实现从 2D 到 3D VTON 的无缝过渡，我们首次提出仅使用图像作为 3D 编辑的编辑提示。为进一步解决面部模糊、衣物不准确以及编辑过程中视角质量下降等问题，我们设计了三阶段的细化策略，以逐步缓解潜在问题。此外，我们引入了一种新的编辑策略，称为 Edit Recall Reconstruction（ERR），以解决以往编辑策略导致复杂几何变化的局限性。我们的全面实验表明，GaussianVTON 的优越性显而易见，为 3D VTON 提供了新的视角，同时为图像提示下的 3D 场景编辑奠定了新的起点。
引用
@article{arxiv.2405.07472,
title = {GaussianVTON: 3D Human Virtual Try-ON via Multi-Stage Gaussian Splatting Editing with Image Prompting},
author = {Haodong Chen and Yongle Huang and Haojian Huang and Xiangsheng Ge and Dian Shao},
journal= {arXiv preprint arXiv:2405.07472},
year = {2024}
}
备注
On-going work