Unsafe2Safe:面向下游效用的可控图像匿名化
计算机视觉与模式识别
2026-03-31 v1 计算机与社会
机器学习
摘要
大规模图像数据集经常包含可识别或敏感内容,在训练可能记忆并泄露此类信息的模型时带来隐私风险。我们提出Unsafe2Safe,一个完全自动化的流水线,用于检测隐私敏感图像并仅使用多模态引导的扩散编辑重写其敏感区域。Unsafe2Safe分两个阶段运行。第一阶段使用视觉-语言模型(i)检查图像的隐私风险,(ii)生成配对的私有和公共描述,分别包含和省略敏感属性,以及(iii)提示大型语言模型根据公共描述生成结构化、身份中立的编辑指令。第二阶段采用指令驱动的扩散编辑器应用这些双重文本提示,生成保留全局结构和任务相关语义同时消除私有内容的隐私安全图像。为衡量匿名化质量,我们引入了一套统一的评估套件,涵盖质量、欺骗性、隐私和效用四个维度。在MS-COCO、Caltech101和MIT Indoor67上,Unsafe2Safe大幅降低了面部相似性、文本相似性和人口统计可预测性,同时保持与在原始数据上训练相当的下游模型准确率。在自动生成的三元组(私有描述、公共描述、编辑指令)上微调扩散编辑器进一步提升了隐私保护和语义保真度。Unsafe2Safe为构建大规模隐私安全数据集提供了一种可扩展、有原则的解决方案,且不牺牲视觉一致性和下游效用。
引用
@article{arxiv.2603.28605,
title = {Unsafe2Safe: Controllable Image Anonymization for Downstream Utility},
author = {Mih Dinh and SouYoung Jin},
journal= {arXiv preprint arXiv:2603.28605},
year = {2026}
}
备注
Accepted at CVPR 2026 and CVPR 2026 Workshop on Machine Unlearning for Computer Vision