探索人体解析器对常见 corruptions 的鲁棒性

人体解析旨在用细粒度语义类别分割人体图像的每个像素。然而，当前使用干净数据训练的人体解析器易被模糊和噪声等众多图像 corruptions 混淆。为提升人体解析器的鲁棒性，本文构建了三个 corruption 鲁棒性基准，称为 LIP-C、ATR-C 和 Pascal-Person-Part-C，以辅助评估人体解析模型的风险容忍度。受数据增强策略启发，我们提出一种新颖的异构增强机制，以增强在常见 corrupted 条件下的鲁棒性。具体而言，来自不同视角的两类数据增强，即图像感知增强和模型感知的图像到图像变换，被顺序集成以适应未预见的图像 corruptions。图像感知增强可借助常见图像操作丰富训练图像的多样性。模型感知增强策略通过考虑模型随机性提升输入数据多样性。所提方法模型无关，可即插即用于任意最先进人体解析框架。实验结果表明该方法具有良好的通用性，能在面对各种图像常见 corruptions 时提升人体解析模型甚至语义分割模型的鲁棒性，同时在干净数据上仍可获得近似性能。