CLIP-FTI: 基于CLIP驱动的面部模板精细特征逆推
计算机视觉与模式识别
2025-12-18 v1
摘要
人脸识别系统存储人脸模板以实现高效匹配。一旦被泄露,这些模板会构成威胁:逆推后可生成逼真的面部 surrogate,从而危及隐私并可能用于冒充。虽然现有研究已实现相对真实的人脸模板逆推,但重构的人脸图像存在面部部位特征(眼睛、鼻子、嘴巴)过于平滑以及迁移性有限的问题。为此,我们提出CLIP-FTI,一种CLIP驱动的面部特征精细条件框架用于人脸模板逆推。我们的核心思想是利用CLIP模型获取人脸特征的语义嵌入,以实现特定面部特征属性的重建。具体而言,通过跨模态特征交互网络融合从CLIP中提取的人脸特征属性嵌入,并投射到预训练StyleGAN的中间潜在空间。StyleGAN生成器随后合成与模板相同身份的面部图像,但具有更精细的人脸特征属性。实验在多个人脸识别主干模型和数据集上表明,我们的重建(1)实现更高的识别准确率和特征相似性,(2)恢复更清晰的部件级特征语义,(3)相较于先前重建攻击提高跨模型攻击迁移性。据我们了解,本方法是首次利用除人脸模板攻击之外的额外信息实现人脸模板逆推,并取得SOTA结果。
引用
@article{arxiv.2512.15433,
title = {CLIP-FTI: Fine-Grained Face Template Inversion via CLIP-Driven Attribute Conditioning},
author = {Longchen Dai and Zixuan Shen and Zhiheng Zhou and Peipeng Yu and Zhihua Xia},
journal= {arXiv preprint arXiv:2512.15433},
year = {2025}
}
备注
Accepted by AAAI 2026