基于对抗特征与标签适应的跨域人体解析

由于在许多重要场景中的广泛应用，人体解析近年来得到了广泛研究。主流的时尚解析模型侧重于解析高分辨率且干净的图像。然而，由于在野外部署时存在域偏移，直接将基准上训练的解析器应用于特定应用场景（如食堂、机场或工作场所）通常性能不尽如人意。本文探讨了一个新颖且具挑战性的跨域人体解析问题：以具有丰富像素级标注的基准数据集作为源域，如何在不要求任何额外人工标注的情况下，在新的目标域上获得令人满意的解析器？为此，我们提出了一种新颖高效的跨域人体解析模型，以弥合视觉外观和环境条件上的跨域差异，并充分利用跨域共性。我们提出的模型显式地学习一个特征补偿网络，专门用于缓解跨域差异。引入判别性特征对抗网络来监督特征补偿，以有效减小两域特征分布间的差异。此外，我们的模型还引入结构化标签对抗网络，引导目标域的解析结果遵循跨域共享的结构化标签的高阶关系。所提框架端到端可训练，在实际应用中实用且可扩展。我们进行了大量实验，以LIP数据集为源域，评估了包括监控视频、电影和时装秀在内的4个不同数据集作为目标域。结果一致证实了所提方法在跨域人体解析问题上的数据效率和性能优势。