基于射频信号的多人姿态估计的自监督一阶段学习

在多人姿态估计（Multi-Person Pose Estimation, MPPE）领域，射频（RF）-based 方法可以无视照明条件和被遮挡的视线情况而有效工作。现有的 RF-based MPPE 方法通常涉及以下两种做法：1）通过复杂预处理将射频信号转换为热图图像，或2）直接将深度嵌入网络应用于原始射频信号。第一种方法虽然能实现相当好的性能，但计算密集且耗时。第二种方法虽然预处理更简单，但会导致 MPPE 准确率和泛化性能较低。本文提出一种基于原始射频信号的高效轻量化一阶段 MPPE 模型。通过对射频信号进行子组分组，并使用共享单层 CNN 嵌入后通过多头注意力机制处理，本模型在使用大型深层 CNN 同时嵌入所有信号的先前方法之上显著优于后者。此外，我们提出了一种新的自监督学习（SSL）方法，该方法同时以一个未被掩码的子组和其余被掩码子组的输入来预测被掩码数据的潜在表征。实证结果表明，我们的模型在 [email protected] 指标上较以前使用原始射频信号的方法提高了最高可达 15。尤其是，所提 SSL 方法在置于新位置或位于射频天线前障碍物时，显示出显著的性能提升，随着人数的增加，性能提升更为显著。我们的代码和数据集已在 Github公开：https://github.com/sshnan7/SOSPE。