对抗回归：用于非线性回归的生成对抗网络——理论与评估

对抗回归是一种用于执行高维非线性回归并估计不确定性的方案。我们利用条件生成对抗网络获得新观测的完整预测分布估计。生成对抗网络（GAN）是隐式生成模型，其从逼近数据分布的分布中生成样本。其条件版本（CGAN）取如下表达式：$\min\limits_G \max\limits_D V(D, G) = \mathbb{E}_{x\sim p_{r}(x)} [log(D(x, y))] + \mathbb{E}_{z\sim p_{z}(z)} [log (1-D(G(z, y)))]$。可通过同时训练两个神经网络建模D与G，并向G输入随机噪声向量$z$来求得近似解。训练后，我们有$G(z, y)\mathrel{\dot\sim} p_{data}(x, y)$。固定$y$时，有$G(z|y) \mathrel{\dot\sim} p{data}(x|y)$。因此通过对$z$采样，我们可获得近似服从$p(x|y)$的样本，即新$y$下$x$的预测分布。我们运行实验测试了多种损失函数、数据分布、样本量、噪声向量大小等。即便观察到差异，也无实验始终优于其他实验。CGAN用于回归的质量依赖于一系列超参数的精细调节。从更广义看，结果表明CGAN是用于高维非线性回归不确定性估计的极具前景的方法。