基于单张图像的实时 3D 感知人像编辑

本文提出了 3DPE，这是一种实用方法，能够以 3D 感知的方式，根据参考图像或文本描述等给定提示，高效地编辑人脸图像。为此，我们从 3D 人像生成器和文本到图像模型中蒸馏出一个轻量级模块，它们分别提供了人脸几何结构的先验知识和卓越的编辑能力。这种设计带来了优于现有方法的两个显著优势。首先，我们的方法通过前馈网络实现了实时编辑（即每张图像约 0.04 秒），比第二快的竞争者快 100 倍以上。其次，得益于强大的先验知识，我们的模块可以专注于学习与编辑相关的变化，从而能够在训练阶段同时处理各种类型的编辑，并进一步支持在推理过程中快速适应用户指定的定制编辑类型（例如，每种风格仅需约 5 分钟的微调）。