基于神经正切核的单层对抗数据合成
机器学习
2022-11-22 v7
摘要
生成对抗网络（GANs）在数据合成中取得了令人印象深刻的性能，并推动了诸多应用的发展。然而，GANs 因其双层目标而难以训练，导致收敛、模式崩溃与梯度消失等问题。本文提出一种称为生成对抗 NTK（GA-NTK）的新生成模型，其具有单层目标。GA-NTK 保留了对抗学习的精神（有助于生成逼真数据），同时避免了 GANs 的训练困难。这是通过将判别器建模为具有神经正切核的高斯过程（NTK-GP）实现的，其训练动态可由闭式公式完全描述。我们分析了由梯度下降训练的 GA-NTK 的收敛行为，并给出若干充分收敛条件。我们还进行了大量实验以研究 GA-NTK 的优势与局限，并提出了一些使 GA-NTK 更实用的技术。
引用
@article{arxiv.2204.04090,
title = {Single-level Adversarial Data Synthesis based on Neural Tangent Kernels},
author = {Yu-Rong Zhang and Ruei-Yang Su and Sheng Yen Chou and Shan-Hung Wu},
journal= {arXiv preprint arXiv:2204.04090},
year = {2022}
}