生成对抗网络的影响估计
机器学习
2022-10-20 v3 机器学习
摘要
识别有害样本（其在训练数据集中的缺失可改善模型性能）对于构建更好的机器学习模型十分重要。尽管先前研究已成功在监督设定下估计有害样本，但它们无法平凡地推广到生成对抗网络(GANs)。这是因为先前方法要求：(1)训练样本的缺失直接影响损失值，且(2)损失的改变直接衡量样本对模型性能的有害程度。然而，在GAN训练中，两项要求均不满足。这是因为：(1)生成器的损失不受训练样本直接影响，因为它们并非生成器训练步骤的一部分；(2)GAN损失的值通常不能捕捉模型的生成性能。为此，(1)我们提出一种影响估计方法，利用生成器损失相对于判别器参数的梯度的雅可比矩阵（反之亦然）来追踪判别器训练中某样本的缺失如何影响生成器的参数；(2)我们提出一种新颖的评估方案，基于GAN评估指标（如inception score）因该样本被移除而预期发生的变化来评估每个训练样本的有害程度。我们通过实验验证，我们影响估计方法正确推断了GAN评估指标的变化。此外，我们证明移除所识别的有害样本有效改善了模型相对于各种GAN评估指标的生成性能。
引用
@article{arxiv.2101.08367,
title = {Influence Estimation for Generative Adversarial Networks},
author = {Naoyuki Terashita and Hiroki Ohashi and Yuichi Nonaka and Takashi Kanemaru},
journal= {arXiv preprint arXiv:2101.08367},
year = {2022}
}
备注
Published as a conference paper at ICLR 2021 (Spotlight)