面向低分辨率人体姿态估计的跨域知识蒸馏

在人体姿态估计的实际应用中，常常出现低分辨率输入，而现有的先进模型在低分辨率图像上表现较差。本工作旨在通过从高分辨率模型蒸馏知识来提升低分辨率模型的性能。然而，应用知识蒸馈到输入分辨率不同的网络时，面临特征尺寸不匹配和类别数量不匹配的挑战。为解决此问题，我们提出了一种新颖的跨域知识蒸馏（CDKD）框架。在该框架中，我们构建了一个规模自适应投�影器集合（SAPE）模块，用于在不同输入分辨率的模型之间对齐特征图。该模块采用投�影器集合将低分辨率特征映射到多个常见空间，并基于多尺度信息自适应地将其合并，以匹配高分辨率特征。此外，我们构建了跨类对齐（CCA）模块以解决类别数量不匹配的问题。通过结合易于难训练（ETHT）策略，CCA 模块进一步提高了蒸馏性能。我们在两个常见的基准数据集上进行大量实验以展示我们方法的有效性与效率：MPII 和 COCO。代码已在补充材料中提供。