利用极值损失生成支撑集

在回归任务中针对预测分布上的平均损失进行优化时，即使目标存在分布，最优预测分布也总是集中于单点值的 delta 函数。构建生成模型的方法需要克服这一倾向。我们考虑一种简明的预测误差汇总方式，使得最优策略对应于输出一个预测分布，其支撑集与目标分布支撑集相匹配——即针对来自预测分布的样本集优化损失的最小值，而非均值。我们表明，基于该损失训练的模型学会捕捉目标分布的支撑集，并且当与类似辅助分类器的预测任务结合时，可通过拒绝采样投影以重现目标的完整分布。所得方法相较于其他生成建模方法表现良好，尤其在具有高度非平凡分布的低维空间中，因为模式坍塌解相对于极值损失是全局次优的。然而，由于当数据流形维数变大时准确估计极值损失所需样本数随之增加，该方法不太适用于图像等高维空间。