用于合成到真实泛化的自编码器：从简单到更复杂场景

在合成数据上学习并将所得特性迁移至其真实对应数据是机器学习中降低成本与提升安全性的重要挑战。本工作中，我们关注自编码器架构，旨在学习对由模拟与真实图像（展示相同场景）间域偏移引起的归纳偏置不变的潜空间表示。我们仅在合成图像上训练，提出提升泛化能力并改进对视觉复杂度递增的真实数据集语义保持的方法。我们表明预训练特征提取器（如 VGG）足以用于较低复杂度图像的泛化，但对视觉上更复杂的场景需额外改进。为此，我们展示了一种新采样技术，其在语义重要图像部分进行匹配的同时随机化其余部分，从而导致显著特征提取并忽略不重要部分。这有助于向真实数据泛化，我们进一步表明我们的方法优于微调分类模型。