对抗调优的场景生成
计算机视觉与模式识别
2017-07-10 v2
摘要
由于虚拟数据与真实数据之间存在“领域偏移”的概念，使用计算机图形学（CG）生成数据训练的计算机视觉系统的泛化性能仍然不佳。尽管用少量真实样本增强的模拟数据已被证明可以缓解领域偏移并提高训练模型的可迁移性，但利用从目标真实领域学习到的分布来引导或引导虚拟数据的生成仍是所期望的，特别是在标注哪怕少量真实图像也很费力的领域（如语义标注和本征图像等）。为了以无监督的方式解决这个问题，我们的工作结合了 CG 的最新进展（旨在生成随机场景布局与大量 3D 对象模型集合）和生成对抗训练（旨在通过测量生成数据与真实数据在深度判别式训练分类器空间中的可分性来衡量它们之间的差异，从而训练生成模型）。我们的方法对生成图模型的先验分布使用后验密度的迭代估计。这是在拒绝采样框架内完成的。最初，我们假设由生成图模型描述的场景参数的先验为均匀分布。随着迭代的进行，先验分布被更新为更接近目标数据（未知）分布的分布。我们在两个真实世界基准数据集（CityScapes 和 CamVid）上展示了对抗调优场景生成在交通场景语义标注中的效用，使用了深度卷积网络（DeepLab）。我们分别在针对 CityScapes 和 CamVid 调优前后，根据场景生成模型准备的模拟集上训练 DeepLab 模型，实现了 2.28 和 3.14 个点的性能提升（使用 IoU 指标）。
引用
@article{arxiv.1701.00405,
title = {Adversarially Tuned Scene Generation},
author = {V S R Veeravasarapu and Constantin Rothkopf and Ramesh Visvanathan},
journal= {arXiv preprint arXiv:1701.00405},
year = {2017}
}
备注
9 pages, accepted at CVPR 2017