无需标题即可进行的无标题成员推断:基于模型拟合嵌入的方法
计算机视觉与模式识别
2026-02-27 v1 密码学与安全
摘要
潜在扩散模型在高保真文本到图像生成方面取得了显著的成功,但其倾向于记忆训练数据的趋势引发了严峻的隐私和知识产权担忧。成员推断攻击(MIAs)为审计此类记忆提供了原则方法,通过确定给定样本是否包含在训练中来实现。然而,现有方法假设可获取 ground-truth 标题;当仅可用图像且其文本注释未披露时,此假设失效,导致基于视觉语言模型(VLM)的标题方法在替换后无效。本文提出了 MoFit,一个无标题 MIA 框架,通过构建针对目标模型生成流形区域的合成条件输入来实现。给定一个查询图像,MoFit 分为两个阶段:(i) 模型拟合的替代品优化,其中对图像施加扰动,以构造在从成员样本中学习的模型无条件先验区域的替代品;(ii) 替代品驱动的嵌入提取,其中从替代品中提取模型拟合嵌入,然后用作查询图像的不匹配条件。该嵌入放大成员样本的条件损失响应,而对保留样本的影响相对较小,从而在无 ground-truth 标题的情况下增强可分离性。我们进行了全面实验,覆盖多个数据集和扩散模型,结果表明 MoFit 在多个方面均优于基于 VLM 的条件基准方法,同时在保持高性能方面与依赖标题的方法竞争。
引用
@article{arxiv.2602.22689,
title = {No Caption, No Problem: Caption-Free Membership Inference via Model-Fitted Embeddings},
author = {Joonsung Jeon and Woo Jae Kim and Suhyeon Ha and Sooel Son and Sung-Eui Yoon},
journal= {arXiv preprint arXiv:2602.22689},
year = {2026}
}
备注
Accepted to ICLR 2026