用于 Sliced Wasserstein 生成模型的摊销投影优化

在应用中利用 sliced Wasserstein 距离时，寻找信息丰富的投影方向一直是一项重要任务。然而，寻找这些方向通常需要在投影方向空间上进行迭代优化过程，计算代价高昂。此外，在深度学习应用中该计算问题更为严重，因为计算两个 mini-batch 概率测度之间的距离需重复多次。这种嵌套循环是阻碍基于良好投影的 sliced Wasserstein 距离在实际中使用的主要挑战之一。为应对该挑战，我们提出利用 learning-to-optimize 技术或摊销优化来预测任意给定两个 mini-batch 概率测度的信息丰富方向。据我们所知，这是首个将摊销优化与 sliced Wasserstein 生成模型相结合的工作。具体而言，我们推导了线性摊销模型、广义线性摊销模型与非线性摊销模型，它们分别对应三种新型 mini-batch 损失，称为 amortized sliced Wasserstein。我们在标准基准数据集上展示了所提出的 sliced 损失在深度生成建模中的良好性能。