域随机化与金字塔一致性:无需访问目标域数据的仿真到真实泛化
计算机视觉与模式识别
2022-08-11 v2
摘要
我们提出以域泛化的方式利用仿真在真实世界自动驾驶场景语义分割中的潜力。分割网络在没有任何目标域数据的情况下进行训练,并在未见过的目标域上进行测试。为此,我们提出一种域随机化与金字塔一致性的新方法来学习具有高泛化能力的模型。首先,我们提出利用辅助数据集将合成图像在视觉外观上随机化为真实图像的风格,以有效学习域不变表示。其次,我们进一步在不同“风格化”图像之间以及图像内部强制金字塔一致性,以分别学习域不变和尺度不变特征。我们在从 GTA 和 SYNTHIA 到 Cityscapes、BDDS 和 Mapillary 的泛化上进行了大量实验;我们的方法取得了优于最先进技术的效果。值得注意的是,我们的泛化结果与最先进的仿真到真实域适应方法(在训练时访问目标域数据)取得的结果相当甚至更好。
引用
@article{arxiv.1909.00889,
title = {Domain Randomization and Pyramid Consistency: Simulation-to-Real Generalization without Accessing Target Domain Data},
author = {Xiangyu Yue and Yang Zhang and Sicheng Zhao and Alberto Sangiovanni-Vincentelli and Kurt Keutzer and Boqing Gong},
journal= {arXiv preprint arXiv:1909.00889},
year = {2022}
}
备注
ICCV 2019