Domain Bridge：基于生成模型的黑盒模型域取证
机器学习
2024-02-08 v1
摘要
在机器学习模型的取证调查中，确定模型数据域的技术发挥着重要作用，先前的工作依赖 ImageNet 等大规模语料库来近似目标模型的域。尽管此类方法在寻找宽泛域方面很有效，但它们通常难以识别这些域内的细粒度类别。在本文中，我们引入了一种增强方法，不仅能确定一般数据域（例如，人脸），还能确定其特定属性（例如，戴眼镜）。我们的方法使用图像嵌入模型作为编码器，使用生成模型作为解码器。从粗粒度描述开始，解码器生成一组图像，随后将其呈现给未知目标模型。模型的成功分类指导编码器细化描述，进而用于在后续迭代中生成更具体的图像集。这种迭代细化缩小了感兴趣的确切类别。我们方法的一个关键优势在于利用了广泛的数据集 LAION-5B，生成模型 Stable Diffusion 即在该数据集上训练。这将我们的搜索空间扩展到了 ImageNet 等传统语料库之外。实证结果展示了我们的方法在识别模型输入域特定属性方面的性能，为更详细的深度学习模型取证分析铺平了道路。
引用
@article{arxiv.2402.04640,
title = {Domain Bridge: Generative model-based domain forensic for black-box models},
author = {Jiyi Zhang and Han Fang and Ee-Chien Chang},
journal= {arXiv preprint arXiv:2402.04640},
year = {2024}
}