注意（最优性）差距：一种用于对抗网络的差距感知学习率调度器

对抗网络已被证明在包括生成建模（GAN）、迁移学习和公平性在内的多个领域具有强大能力。然而，使用一阶方法成功训练对抗网络仍是一项重大挑战。通常，需要谨慎选择学习率以维持竞争网络之间微妙的平衡。在本文中，我们设计了一种新颖的学习率调度器，它动态适应对抗者的学习率以维持恰当的平衡。该调度器的驱动依据是：理想对抗网络的损失是一个先验已知的常数。因此，该调度器被设计为使优化后的对抗网络的损失保持接近理想网络的损失。我们进行了大规模实验，以研究该调度器在两种流行应用上的有效性：用于图像生成的 GAN 和用于域适应的对抗网络。我们的实验表明，使用该调度器训练的对抗网络更不容易发散，且所需调参显著减少。例如，在 CelebA 上，带调度器的 GAN 所需的调参预算仅为无调度器的十分之一。此外，该调度器在模型质量上带来了统计显著的提升，在图像生成的 Frechet Inception Distance 上最高达 $27\%$，在域适应的测试准确率上达 $3\%$。