面向高度稀疏与不平衡数据的渐进式 VAE 训练

在本文中，我们提出了一种在高度不平衡数据集上训练变分自编码器（Variational Autoencoder, VAE）的新方法。所提出的高分辨率 VAE 模型训练始于低分辨率核心模型的训练，该核心模型可在不平衡数据集上成功训练。在后续训练步骤中，新的卷积、上采样、反卷积和下采样层被迭代地附加到模型上。在每次迭代中，附加层基于中间预训练模型（即先前训练迭代的结果）进行训练。因此，模型的分辨率逐步提升至所需分辨率水平。在本文中，渐进式 VAE 训练被用于在不平衡、高度稀疏的数据集上学习潜在表示，并由此在受限二维空间中生成路径。路径规划问题（例如车辆路径问题、旅行商问题和弧路径问题）在许多现代应用（例如路线规划、网络维护、开发高性能纳米电子系统等）中具有特殊重要性，并且通常与稀疏不平衡数据相关。在本文中，考虑了纳米电子器件中数十亿元件路由这一关键问题。与现有最先进的 VAE 训练方法相比，所提方法展现出显著的训练加速，同时能从未见过的输入数据生成预期的图像输出。此外，最终的渐进式 VAE 模型展现出比在可比训练时间内训练的生成对抗网络（Generative Adversarial Network, GAN）模型精确得多的输出表示。所提方法有望广泛应用于包括且不限于图像修复、句子插值和半监督学习等一系列任务。