Omni-ID：为生成任务设计的全面身份表示
计算机视觉与模式识别
2025-05-20 v2
摘要
我们提出 Omni-ID，一种专为生成任务设计的新型面部表示方法。Omni-ID 编码了个体在不同表情和姿态下的整体信息，嵌入固定大小的表示空间。它将来自多样化输入图像的信息整合到结构化表示中，其中每个条目代表某些全局或局部身份特征。我们的做法采用有限输入图像用于重建同一个体在不同姿态和表情下的多个目标图像。进一步采用多解码器框架以利用不同解码器在训练期间的互补优势。与传统表示方法（如 CLIP 和 ArcFace）通常通过判别或对比目标函数学习不同，Omni-ID 则以生成性目标函数优化，实现对生成任务更全面细致的身份捕获。我们在自建的 MFHQ 数据集上进行训练——该数据集是多视角面部图像集合。Omni-ID 在各种生成任务上均显著优于传统表示方法。
引用
@article{arxiv.2412.09694,
title = {Omni-ID: Holistic Identity Representation Designed for Generative Tasks},
author = {Guocheng Qian and Kuan-Chieh Wang and Or Patashnik and Negin Heravi and Daniil Ostashev and Sergey Tulyakov and Daniel Cohen-Or and Kfir Aberman},
journal= {arXiv preprint arXiv:2412.09694},
year = {2025}
}
备注
Accepted to CVPR'25. Webpage: https://snap-research.github.io/Omni-ID