回归方法的基准测试：与 CGAN 的比较

近年来，通过生成对抗网络（GAN）及其扩展条件 GAN（CGAN）设计隐式概率模型取得了令人瞩目的进展。优秀的解决方案主要在涉及大型连续输出空间的图像处理应用中得到展示。这些强大工具几乎未应用于具有小维输出空间的问题。涉及归纳学习映射 $y=f(x,z)$（$z$ 表示噪声，$f:\mathbb{R}^n\times \mathbb{R}^k \rightarrow \mathbb{R}^m$，其中 $m$ 较小，例如 $m=1$ 或仅少数）的回归问题即是一个很好的例证。解决回归问题的标准方法是将输出 $y$ 概率建模为均值函数 $m(x)$ 与噪声项 $z$ 之和；通常也取噪声为高斯分布。这些做法出于便利，以使观测数据的似然能以闭式表达。而在现实世界中，输出的随机性通常由缺失或含噪的输入变量引起。此类现实情形最好用隐式模型表示，其中将额外的噪声向量 $z$ 与 $x$ 一同作为输入。CGAN 自然适用于设计此类隐式模型。本文朝此方向迈出第一步，并将现有回归方法与 CGAN 进行比较。然而我们注意到，现有方法如混合密度网络（MDN）与 XGBoost 分别在似然与平均绝对误差上相较 CGAN 表现相当好。这两种方法均比 CGAN 更易训练。CGAN 需更多创新以在建模能力与训练简便性上媲美现有回归求解器。总之，对于建模不确定性 MDN 更优，而在准确预测更重要的情况下 XGBoost 更优。