GAN 的数据清洗

随着生成对抗网络 (GANs) 的应用不断扩展，开发一种统一的方法以提高各种生成任务的性能变得越来越关键。一个有效策略是识别有害实例，其移除可提高性能。虽然先前的研究在监督环境中成功估计了这些有害训练实例，但其方法难以应用于 GANs。挑战在于先前方法的两个要求不适用于 GANs。首先，先前的方法要求训练实例的缺失直接影响参数。然而，在 GANs 训练中，实例仅输入判别器，因此不会直接影响生成器的参数。其次，先前的方法假设损失的变化直接量化实例对模型性能的有害性，而常见的 GAN 损失类型并不总是反映生成性能。为克服第一个挑战，我们提出了影响估计方法，使用生成器参数相对于判别器参数的梯度的雅可比矩阵（反之亦然）。这种雅可比矩阵代表了两个模型之间的间接效应：从判别器的训练中移除一个实例如何改变生成器的参数。其次，我们提出了一种实例评估方案，基于该实例移除后，GAN 评估指标（如 Inception score）预期发生的变化来衡量每个训练实例的有害性。此外，我们展示了删除所识别的有害实例在各种 GAN 评估指标上显著提高了生成性能。