从 LoRA 权重恢复数据集规模
计算机视觉与模式识别
2024-06-28 v1
摘要
模型反演和成员推断攻击旨在重构和验证模型训练所使用的数据。然而，它们并不保证找到所有训练样本，因为它们不知道训练集的大小。本文引入了新的任务：数据集规模恢复，即直接从模型权重确定用于训练模型的样本数量。我们提出了 DSiRe 方法，用于恢复使用 LoRA 进行微调时所使用的图像数量。在我们发现 LoRA 矩阵的范数和谱与微调数据集大小密切相关后，我们利用这一发现提出一种简单而有效的预测算法。为评估 LoRA 权重的数据集规模恢复，我们开发并发布了新的基准数据集 LoRA-WiSE，包含来自超过 2000 个多样化 LoRA 微调模型的 25000 多个权重快照。我们的最佳分类器能够以平均绝对误差为 0.36 图像预测微调图像的数量，证明了此类攻击的可行性。
引用
@article{arxiv.2406.19395,
title = {Dataset Size Recovery from LoRA Weights},
author = {Mohammad Salama and Jonathan Kahana and Eliahu Horwitz and Yedid Hoshen},
journal= {arXiv preprint arXiv:2406.19395},
year = {2024}
}