无数据访问的深度分类器模仿
机器学习
2024-04-29 v5 人工智能
摘要
对预训练模型的访问近期已在众多机器学习领域成为一种标准。遗憾的是，对模型所训练原始数据的访问未必同样被许可。这使得微调、压缩模型、持续适配或任何其他类型的数据驱动更新极具挑战。我们假定原始数据访问或许并非必需。具体而言，我们提出对比溯因知识提取（CAKE），一种与模型无关的知识蒸馏过程，可在无原始数据访问下模仿深度分类器。为此，CAKE 生成成对的含噪合成样本，并使其对比性地向模型决策边界扩散。我们使用若干基准数据集与多种架构选择实证证实了 CAKE 的有效性，为其广泛应用铺平道路。
引用
@article{arxiv.2306.02090,
title = {Deep Classifier Mimicry without Data Access},
author = {Steven Braun and Martin Mundt and Kristian Kersting},
journal= {arXiv preprint arXiv:2306.02090},
year = {2024}
}
备注
11 pages main, 4 figures, 2 tables, 4 pages appendix