用于资源受限下人体姿态估计与人脸对齐的二值化卷积关键点定位器

我们的目标是设计既能保持 CNN 在关键点定位上开创性性能，同时又轻量、紧凑且适用于计算资源受限应用的架构。为此，我们做出以下贡献： 我们首次研究了神经网络二值化对定位任务（即人体姿态估计和人脸对齐）的影响。我们详尽评估了各种设计选择，识别了性能瓶颈，更重要的是提出了多种正交的方法来提升性能。 基于我们的分析，我们提出了一种新颖的层次化、并行且多尺度的残差架构，该架构在参数数量相同的情况下，比标准瓶颈块获得了巨大的性能提升，从而弥合了原始网络与其二值化对应物之间的差距。 我们进行了大量消融研究，阐明了所提出块的特性和性能。 我们展示了在最具挑战性的人体姿态估计和人脸对齐数据集上的实验结果，在许多情况下报告了 SOTA 性能。代码可从 https://www.adrianbulat.com/binary-cnn-landmarks 下载。