基于循环一致性与特征对齐的移动端语义分割无监督域适应

用于语义分割的深度网络的有监督训练需要大量带标注的真实世界数据。为解决此问题，一种常用的替代方案是使用合成数据进行训练，但当分析的数据相对于训练集具有略微不同的统计特性时，深度网络会出现严重的性能下降。在本工作中，我们提出一种新颖的无监督域适应（UDA）策略，以解决真实世界与合成表征之间的域偏移问题。一个基于循环一致性框架的对抗模型执行合成域与真实域之间的映射。随后数据被输入到执行语义分割任务的 MobileNet-v2 架构中。一对额外的判别器在 MobileNet-v2 的特征层级上工作，能够更好地对齐两个域分布的特征并进一步提升性能。最后，利用了语义图的一致性。在合成数据上的初始有监督训练之后，整个 UDA 架构被端到端地训练，一次性考虑其所有组件。实验结果表明，所提出的策略能够在将合成数据上训练的分割网络适配到真实世界场景时获得令人印象深刻的性能。轻量级 MobileNet-v2 架构的使用使其可部署在算力受限的设备上，例如自动驾驶车辆中所采用的那些。