My3DGen：一种可扩展的个性化三维生成模型

近年来，生成式三维人脸模型（如 EG3D）已被开发用于解决合成照片级真实人脸的问题。然而，这些模型通常无法捕捉每个人独有的面部特征，凸显了个性化的重要性。一些先前工作展示了个性化生成人脸模型的潜力，但这些研究主要关注二维设定。此外，这些方法需要为每个用户微调并存储大量参数，对实现可扩展个性化构成阻碍。个性化的另一挑战是每个人可用的训练图像数量有限，这在使用全微调方法时常常导致过拟合。我们提出的方法 My3DGen 仅使用少至 50 张训练图像即可生成个人的个性化三维先验。My3DGen 允许新视角合成、给定人脸的语义编辑（例如添加微笑）以及合成新外观，同时保留原始人物身份。我们通过冻结预训练的 EG3D 并通过低秩分解训练额外的个性化权重，将三维面部特征解耦为全局特征与个性化特征。结果，My3DGen 每人仅引入 240K 个性化参数，与微调整个参数空间所需的 30.6M 相比，可训练参数减少 127 倍。尽管存储大幅减少，我们的模型在不损害下游应用质量的前提下保留身份特征。