PercHead：基于 DINOv2 的单图像 3D 头部重建与编辑感知模型
计算机视觉与模式识别
2026-04-24 v2
摘要
我们提出 PercHead，一个用于单图像 3D 头部重建和解耦式 3D 编辑的模型，这两个任务由于同一输入在合理解释上的歧义而本质上具有挑战性。我们方法的核心是基于 DINOv2 和 SAM 2.1 的新型感知损失。不同于广泛采用的低层损失（如 LPIPS、SSIM 或 L1），我们依赖图像的深层视觉理解及其产生的通用监督信号。我们展示了新的损失可作为标准损失的即插即用替代品，用于提高高频区域的视觉质量。我们基于视觉 Transformer（ViT）构建模型，使我们能够将 3D 表示从 2D 输入中解耦。我们在多视角图像上进行训练以实现视角一致性，在野外图像上进行训练以实现对新环境的强迁移。我们的模型在新视角合成中实现了最先进的性能，并且在极端视角下的鲁棒性卓越。在我们将基础模型扩展到解耦式 3D 编辑方面，通过交换编码器和微调网络实现。分段图控制几何，而文本提示或参考图像指定外观。我们通过交互式 GUI 展示了直观且强大的 3D 编辑能力。项目页面：https://antoniooroz.github.io/PercHead 视频：https://www.youtube.com/watch?v=4hFybgTk4kE
引用
@article{arxiv.2511.02777,
title = {PercHead: Perceptual Head Model for Single-Image 3D Head Reconstruction & Editing},
author = {Antonio Oroz and Matthias Nießner and Tobias Kirschstein},
journal= {arXiv preprint arXiv:2511.02777},
year = {2026}
}
备注
Project Page: https://antoniooroz.github.io/PercHead/ Video: https://www.youtube.com/watch?v=4hFybgTk4kE