Fair4Free: 使用数据免费蒸馏生成高保真公平合成样本
机器学习
2024-10-03 v1 人工智能
摘要
本工作提出了 Fair4Free，一种新颖的生成模型，用于通过潜空间中的数据免费蒸馏生成合成公平数据。Fair4Free 可用于数据私有或不可访问的情况。在我们的方法中，我们首先训练一个教师模型以创建公平表示，然后将知识蒸馏到一个学生模型（使用较小的体系结构）。学生模型的蒸馏过程是无数据免费的，即学生模型在蒸馏期间不访问训练数据集。蒸馏后，我们使用蒸馏模型生成合成公平样本。我们的大量实验表明，我们的合成样本在所有三个准则（公平性、实用性和合成质量）方面均优于最先进的模型，分别在表格和图像数据集中实现了 5% 的公平性提升、8% 的实用性提升和 12% 的合成质量提升。
引用
@article{arxiv.2410.01423,
title = {Fair4Free: Generating High-fidelity Fair Synthetic Samples using Data Free Distillation},
author = {Md Fahim Sikder and Daniel de Leng and Fredrik Heintz},
journal= {arXiv preprint arXiv:2410.01423},
year = {2024}
}