拼图化身：从个人相册组装 3D 化身

生成个性化的 3D 化身对于 AR/VR 至关重要。然而，近期基于文本的 3D 生成方法往往针对明星或虚构人物，难以处理普通人。传统方法通常需要受控环境下的完整身影图像，限制了实用性。那么，用户是否只需上传其个人“OOTD”（Outfit Of The Day）照片集合，即可获得精准的化身呢？本文提出的 PuzzleAvatar 模型即致力于解决这一新问题。我们开发的模型可从个人 OOTD 相册中生成精准的 3D 化身（处于标准姿态），而无需估计身体姿态和相机姿态。为此，我们对基础视觉语言模型进行微调，将外观、身份、服装、发型和配件编码为独立的学习标记，并将其注入模型。我们将这些标记视为“拼图碎片”，从而拼合出忠实且个性化的 3D 化身。重要的是，用户可通过简单更换标记来实现化身定制。为评估本方法，我们收集了包含 41 位受试者、近 1000 套 OOTD 配置的 PuzzleIOI 数据集，涉及复杂局部照片及对应的真实 3D 身体配对数据。实验表明，PuzzleAvatar 在恢复精度上优于 TeCH 和 MVDreamBooth，具备对相册照片的良好扩展性和鲁棒性。我们的代码和数据已公开于 https://puzzleavatar.is.tue.mpg.de/，供研究使用。