中文

从测量到缓解:通过线性子空间移除量化与减少图像表示编码器中的身份泄露

计算机视觉与模式识别 2026-04-08 v1

摘要

冻结的视觉嵌入(如 CLIP、DINOv2/v3、SSCD)为检索和完整性系统提供了动力,但其在包含人脸数据上的应用受到未测量的身份泄露和缺乏可部署缓解措施的限制。我们采用攻击者意识的方法,贡献:(i) 一个报告低误接受率下开放集验证的视觉嵌入基准、校准的扩散基于模板逆转检查,以及基于等面积扰动的人脸上下文归因;以及 (ii) 提出一种单次线性投影器,通过移除估计的身份子空间来移除身份信息,同时保留用于实用性的互补空间,我们简称为身份消除投影 (ISP)。在 CelebA-20 和 VGGFace2 上,我们展示这些编码器在开放集线性探测下具有鲁棒性,其中 CLIP 的身份泄露相对较高于 DINOv2/v3 和 SSCD,能够抵抗模板逆转,并且是上下文主导的。此外,我们表明 ISP 能够驱动线性访问接近随机水平,同时保持高非生物特征实用性,并可跨数据集转移。我们的结果建立了非人脸识别编码器的首个攻击者校准人脸隐私审计,表明线性子空间移除能够在保持视觉搜索和检索实用性的同时提供强大的隐私保证。

关键词

引用

@article{arxiv.2604.05296,
  title  = {From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal},
  author = {Daniel George and Charles Yeh and Daniel Lee and Yifei Zhang},
  journal= {arXiv preprint arXiv:2604.05296},
  year   = {2026}
}

备注

20 pages, 4 figures